[論文レビュー] Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations

Xin Lv, Yuxian Gu+4 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Graph Neural Networks参考文献 19被引用数 25

ひとこと要約

本稿では、低リソース（少数ショット）な関係に対して強固な推論方針を初期化するために高頻度の関係を活用する、少数ショットマルチホップ知識グラフ推論のためのメタラーニング手法Meta-KGRを提案する。メタラーニングによる初期化を用いることで、Meta-KGRはFB15K-237およびNELL-995の両方で少数ショット関係において最先端の性能を達成し、多様な知識グラフ構造にわたる強力な汎化性と頑健性を示している。

ABSTRACT

Multi-hop knowledge graph (KG) reasoning is an effective and explainable method for predicting the target entity via reasoning paths in query answering (QA) task. Most previous methods assume that every relation in KGs has enough training triples, regardless of those few-shot relations which cannot provide sufficient triples for training robust reasoning models. In fact, the performance of existing multi-hop reasoning methods drops significantly on few-shot relations. In this paper, we propose a meta-based multi-hop reasoning method (Meta-KGR), which adopts meta-learning to learn effective meta parameters from high-frequency relations that could quickly adapt to few-shot relations. We evaluate Meta-KGR on two public datasets sampled from Freebase and NELL, and the experimental results show that Meta-KGR outperforms the current state-of-the-art methods in few-shot scenarios. Our code and datasets can be obtained from https://github.com/ THU-KEG/MetaKGR.

研究の動機と目的

• 既存のマルチホップ推論モデルが、十分な学習トリプルが不足する少数ショット関係で性能が低下する問題に対処すること。
• 高頻度の関係から得られるメタ情報を利用して、低リソースな関係への推論エージェントの高速適応を可能にする手法を開発すること。
• 推論パスをシンボリックな形で保持することで解釈性を維持しながら、少数ショット状況への汎化性を向上させること。
• 異なる知識グラフ構造および少数ショット閾値において、提案手法の頑健性と汎化性を評価すること。

提案手法

• 各関係固有のトリプルクエリをタスクとして扱い、パスおよびエンティティ予測のための推論方針を学習することを目的とする。
• 高頻度の関係でメタポリシー・ネットワークを訓練するためにメタラーニング（MAMLスタイル）を用い、タスク間で一般化可能な共有初期化を学習する。
• 各少数ショット関係に対して、その関係からの小さなサポートセットのトリプルを用いて、メタ初期化されたポリシー・ネットワークをファインチューニングする。
• エンティティ予測の正確性に基づく報酬関数を最大化するように強化学習を用いて推論エージェントを訓練する。
• 報酬計算にConvEとDistMultをスコア関数として用い、ConvEが優れた性能を示した。
• タスクのバッチに対してメタパラメータを勾配降下法で更新し、クエリセット評価からの勾配を用いてメタポリシーを最適化する。

実験結果

リサーチクエスチョン

• RQ1 高頻度の関係のみをサポートとして用いることで、メタラーニングが少数ショット関係の推論方針を効果的に初期化できるか？
• RQ2 実世界の知識グラフにおける少数ショット関係において、Meta-KGRは最先端のマルチホップ推論モデルと比較してどのように性能を発揮するか？
• RQ3 メタラーニングによる初期化は、異なる知識グラフ構造および少数ショット閾値において汎化性と頑健性を向上させるか？
• RQ4 シンボリックな推論パスを生成することで解釈性を維持しながら、低リソースな関係において高い性能を達成できるか？

主な発見

• Meta-KGRは、FB15K-237およびNELL-995の両方で、MultiHopやMINERVAを含むすべてのベースラインを上回り、K=maxの条件下でFB15K-237でHits@1が41.2%を達成した。
• K=5の条件下でFB15K-237で29.6%のHits@1を達成し、同じ少数ショット設定下でMultiHop（20.8%）を顕著に上回った。
• Meta-KGRは、Kの異なる少数ショット閾値に対しても頑健であり、1つの学習トリプルしか利用できない状況（K=1）でさえも、ベースラインより一貫した性能向上を示した。
• ConvEを報酬関数として用いることで、DistMultよりも優れた性能が得られたことから、より表現力の高いスコア関数が推論方針の訓練を強化することが示された。
• モデルは異なるKG間で良好に汎化し、密度の高い（FB15K-237）および疎な（NELL-995）両方の知識グラフで強力な性能を示した。
• 実証的分析により、メタラーニングによる初期化が強力なインダクティブバイアスを提供し、低リソースな関係への高速かつ効果的な適応を可能にすることが確認された。