[論文レビュー] Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs

Wenpeng Yin, Yadollah Yaghoobzadeh+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Graph Neural Networks参考文献 18被引用数 4

ひとこと要約

本稿では、再帰的ワンホップ予測子（ROP）と呼ばれる、再帰ニューラルネットワーク（RNN）を用いて段階的にエンティティを逐次予測することで、マルチホップ知識グラフ（KG）パスをモデル化する新しいRNNベースのフレームワークを提案する。各ホップで訓練信号を用いてエンティティおよび関係の埋め込みを更新することで、知識ベース補完およびパスクエリーアウトプットの両課題で最先端の性能を達成し、拡張済みデータセットではH@10が最大6%向上した。

ABSTRACT

Large scale knowledge graphs (KGs) such as Freebase are generally incomplete. Reasoning over multi-hop (mh) KG paths is thus an important capability that is needed for question answering or other NLP tasks that require knowledge about the world. mh-KG reasoning includes diverse scenarios, e.g., given a head entity and a relation path, predict the tail entity; or given two entities connected by some relation paths, predict the unknown relation between them. We present ROPs, recurrent one-hop predictors, that predict entities at each step of mh-KB paths by using recurrent neural networks and vector representations of entities and relations, with two benefits: (i) modeling mh-paths of arbitrary lengths while updating the entity and relation representations by the training signal at each step; (ii) handling different types of mh-KG reasoning in a unified framework. Our models show state-of-the-art for two important multi-hop KG reasoning tasks: Knowledge Base Completion and Path Query Answering.

研究の動機と目的

• 不完全な知識グラフにおける長さが任意のマルチホップパスの推論に課題を提示する。
• 知識ベース補完やパスクエリーアウトプットといった多様なマルチホップKG推論タスクを、一貫したエンドツーエンドトレーニング可能なフレームワークで統合する。
• 最終予測でのみではなく、パス内の各ホップで訓練信号を統合することで、エンティティおよび関係の表現学習を向上させる。
• パスクエリーアウトプットにおいて、エンティティの文脈が関係予測に与える影響を示し、中間エンティティのモデリングの重要性を実証する。
• 今後の研究を支援するため、パス内エンティティを含む拡張版のBaseKGPデータセットをリリースする。

提案手法

• ROPは、マルチホップKGパス内の関係を1つずつ順番に処理する再帰的ニューラルネットワーク（RNN）を用い、それに応じた中間エンティティのシーケンスを予測する。
• 各ステップで、現在の関係の埋め込みと直前のステップの隠れ状態を入力として、次のエンティティを予測し、それに応じて隠れ状態を更新する。
• 3つのアーキテクチャが提案される：ROP_ARC1、ROP_ARC2、ROP_ARC3。これらは、エンティティ予測に際して、ヘッドエンティティと過去の予測を隠れ状態に統合する方法で異なる。
• ROP_ARC2は、各ステップでヘッドエンティティの表現をRNNの隠れ状態に直接組み込むことで、長距離パスにおいても初期エンティティの影響が持続することを保証し、性能を向上させる。
• ROP_ARC3は、直前の予測エンティティの埋め込みも次のステップの入力に組み込むことで、最近の文脈を活用し、予測をさらに向上させる。
• 勾配の流れと表現力の向上を図るため、GRUまたはeGRU（拡張GRU）を用い、単純な加法的（ADD）メカニズムを上回る性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、任意の長さのマルチホップKGパスを効果的にモデル化しつつ、強力な推論性能を維持できるか？
• RQ2 各ステップにおける中間エンティティおよび関係からの訓練信号を統合することで、エンティティおよび関係の埋め込みの質が向上するか？
• RQ3 1つの統合フレームワークが、マルチホップ知識ベース補完とパスクエリーアウトプットの両タスクを効果的に処理できるか？
• RQ4 関係が非対称である場合に、中間エンティティの含むことが、パスクエリーアウトプットの推論性能に与える影響は何か？
• RQ5 異なるRNNアーキテクチャ（例：GRU対ADD）やアテンション機構が、予測精度にどの程度影響を与えるか？

主な発見

• eGRUを用いたROP_ARC3は、拡張済みBaseKGPデータセットでH@10が56.7%という新たな最先端水準を達成し、先行ベースライン比で最大6%の向上を示した。
• GRUを用いたROP_ARC2は、BaseKGPで54.9%、EnhancedKGPで56.3%のH@10を達成し、Comp-TransEを4%以上上回った。
• 偶数長パスにおける性能低下は、逆関係の存在と強く相関（rho > 0.9）しており、1対Nの逆関係のモデリングに課題があることを示唆している。
• ヘッドエンティティを各ステップの予測に直接伝える（ROP_ARC2）ことで、初期隠れ状態でのみ利用する（ROP_ARC1）場合よりも性能が向上し、ヘッドエンティティの長距離影響が重要であることが示された。
• 直前に予測されたエンティティの埋め込みを次ステップの入力に組み込む（ROP_ARC3）ことで、さらに性能が向上した。これは、長距離パスにおける正確なエンティティ予測に最近の文脈が不可欠であることを示している。
• eGRUバージョンは常にADDメカニズムを上回り、KG推論における長距離依存性を捉えるためにゲーテッド機構の重要性が浮き彫りになった。