[論文レビュー] Topology-Aware Correlations Between Relations for Inductive Link Prediction in Knowledge Graphs

Jiajun Chen, Huarui He+2 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Graph Neural Networks参考文献 25被引用数 12

ひとこと要約

本稿では、関係同士のトポロジーに配慮した相関関係を活用することで、関係ペアをトポロジカル・パターンに分類し、関係相関ネットワーク（RCN）を用いてその相関係数を学習する、新しい帰納的リンク予測モデルTACTを提案する。TACTは、エンティティ固有の情報に依存せずに意味的相関を効果的にモデル化するため、ベンチマークデータセット上で最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

Inductive link prediction -- where entities during training and inference stages can be different -- has been shown to be promising for completing continuously evolving knowledge graphs. Existing models of inductive reasoning mainly focus on predicting missing links by learning logical rules. However, many existing approaches do not take into account semantic correlations between relations, which are commonly seen in real-world knowledge graphs. To address this challenge, we propose a novel inductive reasoning approach, namely TACT, which can effectively exploit Topology-Aware CorrelaTions between relations in an entity-independent manner. TACT is inspired by the observation that the semantic correlation between two relations is highly correlated to their topological structure in knowledge graphs. Specifically, we categorize all relation pairs into several topological patterns, and then propose a Relational Correlation Network (RCN) to learn the importance of the different patterns for inductive link prediction. Experiments demonstrate that TACT can effectively model semantic correlations between relations, and significantly outperforms existing state-of-the-art methods on benchmark datasets for the inductive link prediction task.

研究の動機と目的

• 知識グラフにおける関係同士の意味的相関を無視する既存の帰納的リンク予測モデルの限界を解決すること。
• 関係ペア間のトポロジカル構造がその意味的相関にどのように影響するかをモデル化すること。
• エンティティに依存しない方法を構築し、関係レベルの相関を学習することで、未観測エンティティに一般化できること。
• 構造的な相関パターンを通じて関係の近隣情報を取り入れることで、帰納的リンク予測の性能を向上させること。
• 性能向上が関係頻度に起因するデータバイアスによるものでないことを検証すること。

提案手法

• 知識グラフ内の構造的接続に基づき、関係ペアを異なるトポロジカル・パターン（例：ヘッド・トゥ・テイル、テイル・トゥ・テイルなど）に分類する。
• ノードが関係を表し、エッジがそれらの間のトポロジカル・パターンを表す関係相関グラフ（RCG）を構築する。
• 各トポロジカル・パターンの重要性（相関係数）を学習するための関係相関ネットワーク（RCN）を設計する。
• 学習された相関係数に従って隣接する関係を重み付けすることで、関係表現をアグリゲートする。
• 異なる可微分損失関数を用いて、帰納的設定下で欠落しているリンクを予測するように、モデルをエンドツーエンドで訓練する。
• 推論時に未観測エンティティに一般化可能な、エンティティに依存しない関係アグリゲーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 関係ペア間のトポロジカル構造は、知識グラフ内での意味的相関にどのように影響するか？
• RQ2 トポロジーに配慮した関係相関をモデル化することで、帰納的リンク予測の性能が向上するか？
• RQ3 TACTは、エンティティ依存型または頻度ベースのベースラインと比較して、未観測エンティティにさらにうまく一般化できるか？
• RQ4 異なるトポロジカル・パターン（例：H-H、T-T、H-T）は、リンク予測の精度にどのように寄与するか？
• RQ5 TACTの性能向上は、関係頻度に起因するデータバイアスによるものか、それとも本物の相関モデリングによるものか？

主な発見

• WN18RR(v1)では、TACTがMRR 0.995を達成し、以前のSOTAであるGraIL（0.158）および他のベースラインを著しく上回った。
• NELL-995(v1)では、TACTがMRR 0.830を達成し、GraIL（0.158）および頻度ベースのベースライン（0.201）に対して顕著な改善を示した。
• FB15k-237(v1)では、TACTがMRR 0.880を達成し、GraIL（0.158）および頻度ベースの手法（0.470）を上回った。
• YAGO3-10では、TACTがAUC-PR 0.915およびMRR 0.406を達成し、関係数が少なく、スパースな大規模知識グラフにおいても強力な性能を示した。
• アブレーションスタディの結果、関係相関モデリングを除去したTACT w/o RCでは性能が著しく低下し、トポロジーに配慮した相関の重要性が裏付けられた。
• 頻度ベースのベースラインは性能が低く（例：NELL-995ではMRR 0.201）、TACTの向上がデータ頻度バイアスによるものではないことが確認された。