[論文レビュー] Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs

Mingyang Chen, Wen Zhang+3 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Graph Neural Networks参考文献 25被引用数 11

ひとこと要約

この論文は、知識グラフにおける少データリンク予測のための新しいメタラーニングフレームワーク、Meta Relational Learning (MetaR) を提案する。関係固有のメタ情報——共有知識転送のための関係メタと、迅速な適応のための勾配メタ——を活用することで、背景知識グラフに依存せずに、ベンチマークデータセットで最先端の性能を達成し、GMatching より優れた性能を発揮する。

ABSTRACT

Link prediction is an important way to complete knowledge graphs (KGs), while embedding-based methods, effective for link prediction in KGs, perform poorly on relations that only have a few associative triples. In this work, we propose a Meta Relational Learning (MetaR) framework to do the common but challenging few-shot link prediction in KGs, namely predicting new triples about a relation by only observing a few associative triples. We solve few-shot link prediction by focusing on transferring relation-specific meta information to make model learn the most important knowledge and learn faster, corresponding to relation meta and gradient meta respectively in MetaR. Empirically, our model achieves state-of-the-art results on few-shot link prediction KG benchmarks.

研究の動機と目的

• 与えられた関係に対して利用可能な三項組が僅かである場合（少データ設定）に、知識グラフにおけるリンク予測の課題に対処すること。
• 関係固有のメタ知識を転送することで、低データ環境におけるモデルの汎化性能と学習速度を向上させること。
• 外部の背景知識グラフに依存しない、耐障害性の高いメタラーニングフレームワークを設計すること。
• エンティティのスパarsity とトレーニングタスクの数が、少データリンク予測性能に与える影響を調査すること。

提案手法

• MetaR は、関係固有のメタ情報として2種類の情報を導入する：関係メタ（サポート三項組から抽出される高次元の関係的パターンを捉える）と勾配メタ（迅速な適応を可能にする損失勾配をエンコードする）。
• モデルは関係ラーナーを用いて、少数の観測三項組（サポートセット）から関係メタを抽出し、それを用いてクエリ三項組の末尾エンティティを予測する。
• 勾配メタはサポートセット上でバックプロパゲーションにより計算され、推論時に関係メタの微調整に使用され、迅速な適応を実現する。
• フレームワークは、各エピソードが固有の関係とサポート／クエリ分割を有する少データリンク予測タスクに対応するメタラーニングパラダイムに従って、エンドツーエンドで訓練される。
• MetaR は背景知識グラフを必要としないため、このようなグラフが入手不能な現実世界のシナリオでもより耐障害性が高くなる。
• スコア関数は、学習済みの関係メタを用いて三項組の尤度を計算し、推論中にメタ情報に基づいてエンティティ埋め込みを更新する。

実験結果

リサーチクエスチョン

• RQ1 関係固有のメタ情報は、知識グラフにおける少データリンク予測性能を顕著に向上させることができるか？
• RQ2 関係メタと勾配メタは、低データ環境下でのモデル性能にそれぞれどのように寄与しているか？
• RQ3 背景知識グラフが欠落している場合、少データリンク予測モデルの耐障害性は損なわれるか、あるいは向上するか？
• RQ4 エンティティのスパarsity とトレーニングタスクの数は、MetaR の性能にどのように影響を与えるか？

主な発見

• MetaR は、GMatching よりも優れた既存手法を上回る、少データリンク予測ベンチマークで最先端の性能を達成する。
• アブレーションスタディの結果、勾配メタを削除すると2つの設定でそれぞれ29.3% と15% の性能低下が生じるが、両方のメタコンポーネントを削除すると55% と72% の性能低下が生じ、それらが極めて重要な役割を果たしていることが示された。
• 関係メタの方が勾配メタよりもより顕著に寄与しており、この設定では共有の関係的パターンの方が、迅速な適応よりもより大きな影響を持つことが示唆された。
• 性能はエンティティのスパarsity に極めて敏感である：例えば、Wiki-One では1ショットエンティティの割合が82.8% に達するが、事前学習済みエンティティ埋め込みが使用されない限り、モデル性能が著しく低下する。
• トレーニングタスクの数を増やすことで、MetaR の性能は顕著に向上する。例えば、NELL-One では背景知識を含めた場合、タスク数が51から321に増加したことで性能が0.279から0.401に上昇した。
• 極めてスパースなデータセットでは、事前学習済みエンティティ埋め込みが特に有益であり、単一の三項組からのエンティティで得られる劣悪な表現を緩和できる。