[論文レビュー] Relational Message Passing for Fully Inductive Knowledge Graph Completion

Yuxia Geng, Jiaoyan Chen+5 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、関係パターンを活用するために関係間を直接メッセージを伝達する関係的メッセージスイーピングネットワークRMPIを提案する。グラフの刈り込み、関係に適したアテンション、およびontologyスキーマ統合を採用することで、完全に誘導的KGCベンチマークで最先端の性能を達成し、未観測のエンティティと未観測の関係を同時に処理する点で、既存手法を上回る。

ABSTRACT

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

研究の動機と目的

• 推論時においてエンティティと関係の両方が未観測である完全に誘導的設定における知識グラフ補完の課題に対処すること。
• 既存手法が見慣れた関係を仮定するか、テキスト埋め込みなどの外部リソースに依存するという制限を克服すること。
• エンティティに注目するのではなく、関係のパターンを明示的にモデル化するメッセージスイーピング機構を開発すること。
• グラフの刈り込みと、空の部分グラフを処理するための部分グラフ特徴の公開による、推論の効率性と頑健性の向上。
• ontologyスキーマを統合して関係の意味を豊かにし、未観測の関係への一般化を向上させること。

提案手法

• エンティティを介さずに関係同士を直接メッセージスイーピングする関係的メッセージスイーピングネットワークを提案し、高階の関係的パターンを捉える。
• 不要な部分グラフコンポーネントを削除することで計算コストを低減するが、重要な推論経路を保持するグラフの刈り込み戦略を導入。
• 予測タスクに対する関係の関連性に基づいて、隣接する関係の重みを動的に設定する、ターゲット関係に適した近隣アテンションメカニズムを設計。
• ターゲット三項の構造を明らかにする部分グラフ（公開部分グラフ）からの判別的特徴を活用し、囲まれた部分グラフが空の場合の対処を可能に。
• メッセージスイーピングプロセスにontologyスキーマ情報を統合し、関係表現を豊かにし、未観測の関係への一般化を向上。
• 負例サンプリングを用いたリンク予測目的で、マージンに基づく損失関数を最適化することで、エンドツーエンドでモデルを学習。

(a)

実験結果

リサーチクエスチョン

• RQ1 エンティティ中心のメッセージスイーピングを超えて、関係間のメッセージスイーピングが知識グラフ補完における誘導的一般化を改善できるか？
• RQ2 提案されたグラフの刈り込み戦略は、計算オーバーヘッドを低減しつつ性能を維持できるか？
• RQ3 ontologyスキーマの統合が完全に誘導的KGCタスクの性能にどの程度向上をもたらすか？
• RQ4 主語、目的語、関係がすべて未観測である困難なケースを処理できるか？
• RQ5 ターゲット関係に適したアテンションメカニズムは、標準的なアテンションや均一な集約と比較して、部分グラフ推論においてどの程度優れているか？

主な発見

• RMPIは、複数の完全に誘導的KGCベンチマークで最先端の性能を達成し、MaKEr、GraIL、TACTなどの既存手法を上回る。
• アブレーションスタディにより、ontologyスキーマの統合、ターゲット関係に適したアテンション、公開部分グラフ特徴の集約という各コンポーネントが性能向上に顕著に寄与することが確認された。
• グラフの刈り込みにより、推論時間を最大40％短縮しつつも正確性を損なわず、効率性の向上が実証された。
• 本手法は、多くの先行手法が失敗するか外部リソースを必要とする未観測の関係を完全に処理できることを示した。
• ontologyスキーマの統合により、Wikidata-100KベンチマークでHits@10に最大6.2％の相対的向上が得られた。
• Wikidata-100K、YAGO3-10、NELL-995といった多様なデータセットにわたり、モデルは良好な一般化性能を示し、さまざまなKGC構造に頑健であることが確認された。

(b)