[論文レビュー] ProjE: Embedding Projection for Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|Nov 16, 2016

Advanced Graph Neural Networks参考文献 34被引用数 159

ひとこと要約

ProjE は自己完結型の二層ニューラルモデルを導入し、候補エンティティを共通のターゲットベクトルに射影して知識グラフ補完のためにランキングを行い、パラメータサイズが小さく、重い特徴量設計を要さずに強力な結果を達成します。

ABSTRACT

With the large volume of new information created every day, determining the validity of information in a knowledge graph and filling in its missing parts are crucial tasks for many researchers and practitioners. To address this challenge, a number of knowledge graph completion methods have been developed using low-dimensional graph embeddings. Although researchers continue to improve these models using an increasingly complex feature space, we show that simple changes in the architecture of the underlying model can outperform state-of-the-art models without the need for complex feature engineering. In this work, we present a shared variable neural network model called ProjE that fills-in missing information in a knowledge graph by learning joint embeddings of the knowledge graph's entities and edges, and through subtle, but important, changes to the standard loss function. In doing so, ProjE has a parameter size that is smaller than 11 out of 15 existing methods while performing $37\%$ better than the current-best method on standard datasets. We also show, via a new fact checking task, that ProjE is capable of accurately determining the veracity of many declarative statements.

研究の動機と目的

• 知識グラフ補完（KGC）をランキング問題として動機付け、簡潔で自己完結型のモデルで精度を向上させる。
• 複雑な特徴工学を用いずに、小さなアーキテクチャの変更で最先端モデルを上回せることを示す。
• 対角結合演算子を用いる2層のProjEが高い性能とスケーラビリティを達成することを示す。
• ProjEをエンティティ予測とリレーション予測、および宣言的述句の真偽性を評価する事実検証タスクで評価する。

提案手法

• エンティティとリレーションを低次元埋め込みで表現する。
• エンティティとリレーションの埋め込みを結合する対角の学習可能な結合演算子を用いて、結合入力ベクトルを計算する。
• 候補エンティティを共通のターゲットベクトルに射影して、各候補のランキングスコアを取得する。
• 2つの損失の変種を提供: ProjE_pointwise（バイナリ/多クラススタイル）と ProjE_listwise（softmaxを用いたジョイントランキング）、加えて ProjE_wlistwise（重み付きリストワイズ）。
• 学習時の大規模な候補集合を管理するために、Word2Vecにインスパイアされたネガティブサンプリングを用いる。
• 一般化を向上させるためにAdam最適化手法、L1正則化、およびドロップアウトで訓練する。

実験結果

リサーチクエスチョン

• RQ1 より大規模で複雑なモデルに対して、コンパクトで自己完結型のアーキテクチャを用いることでProjEはKGCの性能を改善できるか？
• RQ2 KGCにおける候補エンティティのランキングに対して、pointwiseとlistwiseの学習目的はどのように比較されるか？
• RQ3 共通ターゲットベクトルへの射影は、エンティティ予測とリレーション予測の両方において h-r-t の相互作用を効果的に捉えるか？
• RQ4 パスベースの入力と最小限の前提条件を用いることで、実世界のファクトチェックにおいてProjEは良好な性能を発揮できるか？

主な発見

• FB15Kにおけるエンティティ予測およびリレーション予測で、ProjEのさまざまなバリアントが多くの既存手法を上回る。
• ProjE_wlistwiseとProjE_listwiseは、通常、指標全般でProjE_pointwiseを上回る。
• ProjEは多くの競合モデルよりパラメータ数が少ない一方で高い精度を達成する。
• 候補サンプリング率を25%とするだけで堅牢な性能を発揮し、スケーラビリティに寄与する。
• ファクトチェックタスクでは、ProjEがDBPediaおよびSemMedDBデータセットでいくつかのベースライン手法より高いAUCスコアを達成する。