[論文レビュー] Relational Message Passing for Knowledge Graph Completion

Hongwei Wang, Hongyu Ren+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 37被引用数 6

ひとこと要約

この論文は、エッジ中心のメッセージパッシングを用いて、エンティティペア間の関係的文脈と関係的パスをモデル化する、知識グラフ補完のための関係的メッセージパッシングフレームワークPathConを提案する。エッジ埋め込みではなく関係タイプに注目することで、最先端の性能を達成し、帰納的設定に一般化可能であり、学習された関係的相関を通じて解釈可能な予測を提供する。

ABSTRACT

Knowledge graph completion aims to predict missing relations between entities in a knowledge graph. In this work, we propose a relational message passing method for knowledge graph completion. Different from existing embedding-based methods, relational message passing only considers edge features (i.e., relation types) without entity IDs in the knowledge graph, and passes relational messages among edges iteratively to aggregate neighborhood information. Specifically, two kinds of neighborhood topology are modeled for a given entity pair under the relational message passing framework: (1) Relational context, which captures the relation types of edges adjacent to the given entity pair; (2) Relational paths, which characterize the relative position between the given two entities in the knowledge graph. The two message passing modules are combined together for relation prediction. Experimental results on knowledge graph benchmarks as well as our newly proposed dataset show that, our method PathCon outperforms state-of-the-art knowledge graph completion methods by a large margin. PathCon is also shown applicable to inductive settings where entities are not seen in training stage, and it is able to provide interpretable explanations for the predicted results. The code and all datasets are available at https://github.com/hwwang55/PathCon.

研究の動機と目的

• 埋め込みベースの手法が知識グラフ補完において抱える限界、特に帰納的バイアスの欠如と解釈可能性の低さを是正すること。
• 関係予測のための局所的サブグラフ構造（関係的文脈と関係的パス）をより効果的にモデル化すること。
• ノード埋め込みではなくエッジ特徴（関係タイプ）に基づいてメッセージパッシングを行うフレームワークを構築し、帰納的かつ効率的な学習を可能にすること。
• 関係タイプ間の相関パターンを捉えることで、予測の解釈可能性を提供すること。
• 標準ベンチマークおよび帰納的設定において、既存の最先端手法を上回ること。

提案手法

• ノードではなく関係タイプに基づいてエッジ間でメッセージをパッシングする関係的メッセージパッシングを提案し、周辺構造を捉える。
• 関係的文脈（頭部およびテールエンティティの隣接関係）と関係的パス（グラフ内でのエンティティ間の相対的位置）の2つのメッセージパッシングモジュールを導入。
• ノードとエッジの間で交互にメッセージパッシングを行うことで、計算複雑性を低減しながら表現力は維持する。
• 関係的文脈とパス表現を組み合わせるための学習可能なアテンションメカニズムを用いて、最終的な関係予測を実現。
• エッジが関係を表す関係グラフ上で動作するGNNに類似したアーキテクチャを設計し、メッセージが関係の連鎖に沿って流れることを可能にする。
• 関係的パスに沿ってメッセージを集約するための学習可能なルーティング機構を導入し、長距離依存性のモデル化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関係的文脈と関係的パスの両方をモデル化することで、従来の埋め込みベース手法を上回る知識グラフ補完が達成できるか？
• RQ2 ノードベースのメッセージパッシングに比べ、エッジ中心のメッセージパッシングが帰納的バイアスと効率性において優れているか？
• RQ3 提案手法が標準ベンチマーク、特に帰納的設定において最先端の性能を達成できるか？
• RQ4 関係タイプ間の相関を捉えることで、解釈可能な説明を提供できるか？
• RQ5 交互なメッセージパッシングスキームは、従来のノードベースGNNと比較して計算複雑性にどのような影響を与えるか？

主な発見

• PathConは、FB15K-237やDDB14を含む標準ベンチマークにおいて、すべての最先端手法を上回り、新たなSOTA結果を達成した。
• 訓練時に未観測のエンティティが存在する帰納的設定においても、良好な一般化性能を示した。
• 交互なメッセージパッシングスキームにより、計算複雑性が従来のノードベースGNNと同等のオーダーにまで低減され、スケーラビリティが確保された。
• 関係的文脈と関係的パスの両方が性能向上に不可欠であり、それらの共同モデル化が顕著な精度向上をもたらした。
• ケーススタディを通じて、重要な関係パスや文脈的関係を強調することで、解釈可能な予測を提供していることが示された（FB15K-237およびDDB14で検証）。
• 実験の結果、RNNベースのパスモデルは学習可能なアテンションに比べて性能が劣ることが示され、パス表現におけるアーキテクチャ選択の重要性が裏付けられた。