[論文レビュー] Cognitive Knowledge Graph Reasoning for One-shot Relational Learning

Zhengxiao Du, Chang Zhou+3 more|arXiv (Cornell University)|Jun 13, 2019

Advanced Graph Neural Networks参考文献 39被引用数 24

ひとこと要約

CogKRは、未知の関係を要約モジュールで符号化し、二重プロセス理論にインspiredされた推論モジュール（反復的検索（システム1）と関係推論（システム2））を用いて、1ショット関係学習のための認知的知識グラフ推論フレームワークを提案する。1ショットKG推論ベンチマークにおいて、SOTAを24.3%〜29.7%上回るMRRの相対的改善を達成し、説明可能でサブグラフベースの推論経路を提供する。

ABSTRACT

Inferring new facts from existing knowledge graphs (KG) with explainable reasoning processes is a significant problem and has received much attention recently. However, few studies have focused on relation types unseen in the original KG, given only one or a few instances for training. To bridge this gap, we propose CogKR for one-shot KG reasoning. The one-shot relational learning problem is tackled through two modules: the summary module summarizes the underlying relationship of the given instances, based on which the reasoning module infers the correct answers. Motivated by the dual process theory in cognitive science, in the reasoning module, a cognitive graph is built by iteratively coordinating retrieval (System 1, collecting relevant evidence intuitively) and reasoning (System 2, conducting relational reasoning over collected information). The structural information offered by the cognitive graph enables our model to aggregate pieces of evidence from multiple reasoning paths and explain the reasoning process graphically. Experiments show that CogKR substantially outperforms previous state-of-the-art models on one-shot KG reasoning benchmarks, with relative improvements of 24.3%-29.7% on MRR. The source code is available at https://github.com/THUDM/CogKR.

研究の動機と目的

• 知識グラフにおいて、1つまたは数個の訓練例でのみ、未学習の関係タイプの事実を推論する課題に対処すること。
• 1ショット設定において解釈不能でマルチホップ推論を欠く、従来の埋め込みベース手法の限界を克服すること。
• 特に二重プロセス理論を含む認知科学の原則を知識グラフ推論に統合し、一般化性能と説明可能性を向上させること。
• 単一パス走査に依存するのではなく、複数のパスおよびサブグラフからの証拠を集約する、スケーラブルでグラフベースの推論メカニズムを構築すること。

提案手法

• 要約モジュールは、知識グラフのエンティティ表現を用いて、1つのサポート三項組の背後にある関係を連続的ベクトルに符号化する。
• 推論モジュールは、KGの近隣から関連するエンティティおよび関係を反復的検索することで認知的グラフを構築し、システム1の直感的検索を模倣する。
• 異なる微分可能なニューラルネットワークを用いて、複数の推論ステップにわたってノード表現を更新することで、認知的グラフ上で関係推論を実行する。これは、システム2の明示的推論を模倣する。
• 認知的グラフは反復処理中に動的に拡張および更新され、構造的情報を保持し、複数のパスからの証拠集約を可能にする。
• 最終的な予測は、認知的グラフ内の最終ノード表現に基づき、複数の異なる推論パスからの証拠を重み付けるために注目メカニズムが用いられる。
• 要約モジュールを複数のサポート例を処理できるように拡張することで、1ショットおよびフェイシュート学習を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 二重プロセス理論に基づく認知的グラフ推論フレームワークは、純粋な埋め込みベース手法と比較して、知識グラフにおける1ショット関係学習を改善できるか？
• RQ2 サブグラフベースの推論メカニズムは、パスのみに依存する手法と比較して、1ショット設定において複雑なマルチパス証拠をどれほど効果的に捉えることができるか？
• RQ3 システム1（検索）とシステム2（推論）の統合は、データが少ない状況下で推論の正確性と頑健性をどの程度向上させるか？
• RQ4 提案手法は、複雑な関係構造ですら、人間が理解可能な推論経路を生成できるか？

主な発見

• CogKRは、標準的な1ショットKG推論ベンチマークにおいて、SOTAモデルを24.3%〜29.7%上回るMRRの相対的改善を達成した。
• モデルは単一パス推論に依存するのではなく、サブグラフレベルの証拠を活用することで、より頑健な推論を実現し、優れた性能を示した。
• モデルは説明可能な推論グラフを生成し、複数のパス、三角形、複雑なサブグラフを可視化した。これは、パスベース手法では完全にモデル化できない。
• 推論の複雑さに関係なく、認知的グラフ構造のおかげで、複数の推論パスからの多様な証拠を効果的に集約できる。
• 候補エンティティ数にかかわらず、CogKRは一定の推論時間を維持する。一方、ベースラインモデルは候補数に比例してスケーリングする。
• 非連結知識グラフではモデルの限界が顕在化するため、今後の研究では、未接続ノードの拡張を促進する検索の強化が求められる。