[論文レビュー] Entity Context and Relational Paths for Knowledge Graph Completion.

Hongwei Wang, Hongyu Ren+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 49被引用数 32

ひとこと要約

PathCon は、エッジベースのメッセージスイーピングと学習可能なアテンションメカニズムを用いて関係的文脈と関係的パスをモデル化することで、予測精度を向上させる革新的な知識グラフ補完手法である。ベンチマーク上での最先端手法を上回り、予測の解釈可能性を高めるために重要な関係やパスを同定することができる。

ABSTRACT

Knowledge graph completion aims to predict missing relations between entities in a knowledge graph. While many different methods have been proposed, there is a lack of a unifying framework that would lead to state-of-the-art results. Here we develop PathCon, a knowledge graph completion method that harnesses four novel insights to outperform existing methods. PathCon predicts relations between a pair of entities by: (1) Considering the Relational Context of each entity by capturing the relation types adjacent to the entity and modeled through a novel edge-based message passing scheme; (2) Considering the Relational Paths capturing all paths between the two entities; And, (3) adaptively integrating the Relational Context and Relational Path through a learnable attention mechanism. Importantly, (4) in contrast to conventional node-based representations, PathCon represents context and path only using the relation types, which makes it applicable in an inductive setting. Experimental results on knowledge graph benchmarks as well as our newly proposed dataset show that PathCon outperforms state-of-the-art knowledge graph completion methods by a large margin. Finally, PathCon is able to provide interpretable explanations by identifying relations that provide the context and paths that are important for a given predicted relation.

研究の動機と目的

• 最先端の知識グラフ補完のための統合的フレームワークの欠如に取り組むこと。
• エンティティ間の関係的文脈とマルチホップの関係的パスを捉えることで、予測精度を向上させること。
• ノード固有の埋め込みに依存せず、関係タイプのみで文脈とパスを表現することで、誘導学習を可能にすること。
• 各予測のための最も影響力のある関係やパスを同定することで、解釈可能な説明を提供すること。

提案手法

• PathCon は、隣接する関係タイプを符号化するエッジベースのメッセージスイーピング方式を用いて、各エンティティの関係的文脈をモデル化する。
• ヘッドとテールエンティティのペア間のすべての可能な関係的パスを、関係タイプのシーケンスとして表現する。
• 学習可能なアテンションメカニズムを用いて、関係的文脈と関係的パスからの情報を適応的に統合し、最終的な関係予測を生成する。
• 文脈とパスを関係タイプのみで表現することで、未観測のエンティティへの一般化を可能にする誘導学習設定で動作する。
• 予測中に文脈とパスの特徴の重要性を重みづけるために、微分可能なアテンションメカニズムを用いる。
• エンドツーエンドで学習可能なアーキテクチャであり、標準的なネガティブサンプリングとランク付け損失を用いてリンク予測を最適化する。

実験結果

リサーチクエスチョン

• RQ1 関係的文脈とマルチホップの関係的パスを組み合わせることで、知識グラフ補完のパフォーマンスが向上するか？
• RQ2 学習可能なメカニズムを用いて、関係的文脈と関係的パスを効果的に統合できるか？
• RQ3 関係タイプのみに依存する手法が、誘導学習設定で強力なパフォーマンスを達成できるか？
• RQ4 予測のための重要な関係やパスを同定することで、モデルが解釈可能な説明を提供できるか？

主な発見

• PathCon は、標準的な知識グラフ補完ベンチマークで最先端のパフォーマンスを達成し、既存の手法を顕著に上回っている。
• 文脈とパスの関係タイプのみの表現により、誘導設定での強力な一般化能力を示している。
• アテンションメカニズムは、各予測における最も関連性の高い関係やパスを効果的に同定・優先し、解釈可能な説明を可能にしている。
• 新たに提案されたデータセットを用いた実験により、PathCon が多様な知識グラフ構造にわたり、ロバストでスケーラブルであることが確認された。
• アブレーションスタディの結果、関係的文脈と関係的パスの両方がパフォーマンスに顕著に寄与しており、アテンションメカニズムが最適な統合を実現していることが示された。