[論文レビュー] DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning

Wenhan Xiong, Thien Hoang+1 more|arXiv (Cornell University)|Jul 20, 2017

Advanced Graph Neural Networks参考文献 23被引用数 108

ひとこと要約

ポリシーに基づく強化学習フレームワーク（DeepPath）を導入し、大規模知識グラフにおける多段階の関係パスを学習する。報酬関数は正確性、多様性、効率のバランスを取る。FB15K-237とNELLデータセットでPRAおよびKG埋め込み法より優れる。

ABSTRACT

We study the problem of learning to reason in large scale knowledge graphs (KGs). More specifically, we describe a novel reinforcement learning framework for learning multi-hop relational paths: we use a policy-based agent with continuous states based on knowledge graph embeddings, which reasons in a KG vector space by sampling the most promising relation to extend its path. In contrast to prior work, our approach includes a reward function that takes the accuracy, diversity, and efficiency into consideration. Experimentally, we show that our proposed method outperforms a path-ranking based algorithm and knowledge graph embedding methods on Freebase and Never-Ending Language Learning datasets.

研究の動機と目的

• 大規模な知識グラフにおける多段階推論を動機づけ、PRAのような離散パス手法の制限に対処する。
• 連結埋め込み空間で動作するポリシーベースのRLエージェントを提案し、情報量の多い関係パスを発見する。
• 発見されたパスの正確性、多様性、効率を同時に最適化する報酬関数を設計する。
• ベンチマークKGデータセット上でPRAおよび埋め込み手法に対するスケーラビリティと実証的優位性を示す。

提案手法

• TransE風の埋め込みから得られる連続状態表現を用いて、KG推論タスクをMDPとしてモデル化する。
• 各ステップですべての関係をアクションとしての確率分布を出力するポリシーネットワークを使用する。
• REINFORCEと模倣学習にインスパイアされた監視付き事前学習フェーズ（ランダム化されたBFSパス）でポリシーを訓練する。
• グローバルな正確性（ターゲット到達時に+1、到達しない場合は-1）、パス長に基づく効率性（1/length）、過去のパスとのコサイン類似度の平均をマイナスにして多様性を評価する報酬関数を組み込む。
• 評価時に学習した推論式を効率的に検証するため、双方向のパス制約探索を用いる。
• ポリシー更新にはL2正則化を伴うAdam最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 KG埋め込み空間上での強化学習は、信頼性の高い多段階推論パスを学習できるか？
• RQ2 正確性、多様性、効率をバランスさせる報酬関数は、従来のパスベース手法と比較してパスの品質と学習効率を改善するか？
• RQ3 標準のKGデータセットにおけるリンク予測と事実予測タスクで、RLベースのDeepPathはPRAおよびKG埋め込み法とどう比較されるか？
• RQ4 監督付き事前学習と双方向探索によるパス検証は、大規模なKGにおけるスケーラビリティと性能向上に役立つか？
• RQ5 発見されたRLパスは、従来のパスランキング法や埋め込み手法が生成するものより短く、より多様であるか？

主な発見

• RLベースのDeepPathは、FB15K-237およびNELL-995におけるリンク予測でPRAおよび埋め込み手法を上回り、MAPで測定される。
• DeepPathはPRAよりはるかに少数だが予測力の高い推論パスを発見する（例：タスクあたりの平均パス数が大幅に削減）。
• 報酬におけるグローバルな正確性、効率、多様性の組み合わせが、定性的・定量的なパス品質を向上させる。
• 雙方向パス検証は探索の複雑さを低減し、学習済みパスを評価する際の頑健性を向上させる。
• 監督付き事前学習は、大規模なアクション空間でのRL収束を著しく援助し、訓練中の初期成功率（succ_10）を改善する。
• 事実予測タスクでは、DeepPathはほとんどの関係/データセットで埋め込みベースラインを上回る。