[論文レビュー] Few-Shot Knowledge Graph Completion

Chuxu Zhang, Huaxiu Yao+4 more|arXiv (Cornell University)|Nov 26, 2019

Topic Modeling参考文献 30被引用数 6

ひとこと要約

本稿では、関係に依存する異種近隣エンコーダー、参照セット集約のための再帰的オートエンコーダー、およびマッチングネットワークを活用して、少数のラベル付き例でのみ欠落した事実を推論する、知識グラフ補完のための少サンプル関係学習モデルFSRLを提案する。実験の結果、2つの公開データセットにおいて最先端のベースラインを顕著に上回り、Hits@1、Hits@5、Hits@10、MRRのすべてでSOTA性能を達成した。

ABSTRACT

Knowledge graphs (KGs) serve as useful resources for various natural language processing applications. Previous KG completion approaches require a large number of training instances (i.e., head-tail entity pairs) for every relation. The real case is that for most of the relations, very few entity pairs are available. Existing work of one-shot learning limits method generalizability for few-shot scenarios and does not fully use the supervisory information; however, few-shot KG completion has not been well studied yet. In this work, we propose a novel few-shot relation learning model (FSRL) that aims at discovering facts of new relations with few-shot references. FSRL can effectively capture knowledge from heterogeneous graph structure, aggregate representations of few-shot references, and match similar entity pairs of reference set for every relation. Extensive experiments on two public datasets demonstrate that FSRL outperforms the state-of-the-art.

研究の動機と目的

• 関係ごとに利用可能なラベル付きエンティティペアが少数である状況における知識グラフ補完の課題に対処すること。これは現実世界で一般的な状況である。
• 既存のワンショットおよび少サンプル手法が、異種近隣の影響や、少サンプル参照同士の相互作用を適切にモデル化できないという限界を克服すること。
• エンティティ表現、参照セット集約、および新規関係のマッチングを統合的に最適化するフレームワークを設計すること。
• 未学習の関係に対しても、わずかな参照例のみを用いてゼロショットのファインチューニング推論を可能にすること。
• リソースが限られた関係学習の設定において、一般化性能とロバスト性を向上させること。

提案手法

• 関係タイプと構造的関連性に基づいて近隣を重み付けする注目メカニズムを用いた、関係に依存する異種近隣エンコーダーを提案し、異なる近隣からの多様な影響を捉える。
• 少サンプル参照エンティティペア間の相互作用をモデル化し、統一的かつ表現力豊かな参照埋め込みを生成する再帰的オートエンコーダー集約ネットワークを導入する。
• クエリエンティティペアを集約された参照埋め込みと比較するためのLSTMベースの類似度関数を備えたマッチングネットワークを採用し、関係予測を実現する。
• 勾配降下法を用いたメタ学習により、すべてのモジュールをエンドツーエンドで最適化し、ファインチューニングなしで新規関係に迅速に適応可能にする。
• 動的注目メカニズムを活用し、異なる近隣や参照ペアに重要度を割り当てることで、表現品質を向上させる。
• 統一された損失関数を用いて、近隣エンコーダー、集約ネットワーク、マッチングネットワークを統合的に訓練し、エンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 関係ごとに少数のラベル付きエンティティペアしか利用できない状況において、少サンプル関係学習モデルが知識グラフ補完を効果的に行えるか？
• RQ2 異種近隣の影響をモデル化することで、リソースが限られた設定におけるエンティティ表現はどのように向上するか？
• RQ3 少サンプル参照同士の相互作用は、参照セット埋め込みの品質をどの程度向上させるか？
• RQ4 学習された類似度計算を備えた再帰的マッチングネットワークは、単純なドット積マッチングに比べて、少サンプルKG補完で優れた性能を発揮するか？
• RQ5 少サンプルサイズKの変動に対して、提案モデルはどの程度安定的かつ一般化可能か？

主な発見

• FSRLは2つの公開データセットでSOTA性能を達成し、NELLではHits@1が0.345、Wikidataでは0.211を記録し、GMatchingおよび他のベースラインを顕著に上回った。
• アブレーションスタディの結果、関係に依存する異種近隣エンコーダーを削除するとHits@1が13.4ポイント低下し、表現学習におけるその重要性が裏付けられた。
• 再帰的オートエンコーダー集約ネットワークを用いることで、平均プーリングに比べてHits@1が12.5%向上し、参照同士の相互作用をモデル化することの価値が示された。
• LSTMベースのマッチングネットワークを削除すると、Hits@1が12.9ポイント低下し、複雑な関連性を捉える能力において、内積マッチングを上回っていることが確認された。
• 少サンプルサイズKが増加するにつれて、FSRLはGMatchingに比べて一貫して高い性能を維持し、モデルのロバスト性とスケーラビリティを示した。
• 可視化結果から、FSRLはGMatchingに比べて、正例と負例の候補ペアの埋め込みをより明確に分離していることが確認され、優れた判別能力を有していることが示された。