[論文レビュー] Link Prediction on N-ary Relational Facts: A Graph-based Approach

Quan Wang, Haifeng Wang+2 more|arXiv (Cornell University)|May 18, 2021

Advanced Graph Neural Networks参考文献 39被引用数 5

ひとこと要約

本稿では、各事実を異種グラフとしてモデル化し、エッジに偏った全結合自己注意機構を用いて局所的およびグローバルな依存関係を捉える、n-ary関係的事実におけるリンク予測のためのグラフベースのアプローチGRANを提案する。GRANは、複数のn-aryリンク予測ベンチマークで最先端の性能を達成し、複雑な複数エンティティ関係構造のモデル化において優れた有効性を示している。

ABSTRACT

Link prediction on knowledge graphs (KGs) is a key research topic. Previous work mainly focused on binary relations, paying less attention to higher-arity relations although they are ubiquitous in real-world KGs. This paper considers link prediction upon n-ary relational facts and proposes a graph-based approach to this task. The key to our approach is to represent the n-ary structure of a fact as a small heterogeneous graph, and model this graph with edge-biased fully-connected attention. The fully-connected attention captures universal inter-vertex interactions, while with edge-aware attentive biases to particularly encode the graph structure and its heterogeneity. In this fashion, our approach fully models global and local dependencies in each n-ary fact, and hence can more effectively capture associations therein. Extensive evaluation verifies the effectiveness and superiority of our approach. It performs substantially and consistently better than current state-of-the-art across a variety of n-ary relational benchmarks. Our code is publicly available.

研究の動機と目的

• 現実世界の知識グラフで一般的なn-ary関係的事実に焦点を当てたリンク予測研究のギャップを埋める。これは、二項関係と比較してあまり研究が進んでいない。
• 従来の手法が属性を同等に扱うか、独立してモデル化するという制限を克服し、n-ary事実内に内在する意味的関係を無視するのを避ける。
• n-ary事実の完全な意味的性質を保持するため、それらを構造的な異種グラフとして表現する統一フレームワークを開発する。
• n-ary事実内での局所的（頂点レベル）およびグローバル（グラフレベル）な依存関係を効果的にモデル化し、リンク予測の性能を向上させる。
• novelでエンド・トゥ・エンドのグラフ学習アプローチを通じて、n-aryリンク予測の新しいSOTAを確立する。

提案手法

• 各n-ary事実を、エンティティ（主語、目的語、値）と関係（関係、属性）の頂点をもち、4種類のエッジタイプ（主語-関係、目的語-関係、関係-属性、属性-値）を持つ異種グラフとして表現する。
• 全結合自己注意機構を用い、グラフ表現内のすべてのノード間の普遍的な頂点間相互作用をモデル化する。
• 構造的および異種性固有の情報を符号化するため、エッジに配慮した注意バイアスを導入し、モデルのグラフトポロジーへの感受性を高める。
• 得られたグラフ符号化表現を用いて、主となる三項組の妥当性と補助的属性-値ペアとの整合性をスコアリングすることで、欠落しているリンクを予測する。
• 別個のグラフエンコーダーを排除し、推論段階での注目メカニズムの表現力に依存することで、計算コストを削減するアーキテクチャを設計する。
• 標準的なリンク予測損失関数を用いてエンド・トゥ・エンドでモデルを学習し、エッジタイプおよびノード相互作用に基づいて注意重みを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 n-ary関係的事実の完全な構造的・意味的複雑性を、グラフベースのアプローチで効果的にモデル化できるか？
• RQ2 n-ary事実内での局所的およびグローバルな依存関係をモデル化することで、属性を独立に扱う手法と比較して、リンク予測性能がどのように向上するか？
• RQ3 エッジに配慮した注意バイアスを組み込むことで、n-ary事実内の異種性および構造的パターンの捉え方の能力がどの程度向上するか？
• RQ4 提案されたGRANフレームワークは、多様なn-aryリンク予測ベンチマークで、既存の最先端手法を上回るか？
• RQ5 GRANは、エンティティ数や関係数が異なるn-ary事実に対しても、どの程度頑健に機能するか？

主な発見

• GRANは、複数のn-ary関係的リンク予測ベンチマークで、現在の最先端手法を一貫してかつ顕著に上回り、新たなSOTAを確立した。
• エンティティ間の局所的相互作用と、n-ary事実構造全体におけるグローバルな依存関係を捉えることで、顕著な性能向上を達成した。
• エッジに配慮した注意バイアスの導入により、グラフの異種性および接続パターンのモデル化が向上し、より良い表現学習が実現した。
• 別個のグラフエンコーダーを排除し、注目に基づくデコードに依存するGRANのアーキテクチャ設計により、計算コストを削減しながらも高い性能を維持した。
• マリエ・キュリー、ノーベル賞、共同受賞者を含む5-ary事実のような複雑なn-ary事実を効果的にモデル化し、意味的豊かさと関係的関連性を保持した。
• 高アリティの事実や複雑な属性-値関係を含む多様なベンチマークにおいても、一般化性能が優れていた。