[論文レビュー] Collaborative Policy Learning for Open Knowledge Graph Reasoning

Cong Fu, Tong Chen+3 more|arXiv (Cornell University)|Aug 31, 2019

Advanced Graph Neural Networks参考文献 19被引用数 4

ひとこと要約

本論文は、オープン知識グラフ推論を向上させるために、推論エージェントと事実抽出エージェントを共同で訓練する強化学習フレームワーク、共同政策学習（CPL）を提案する。事実抽出エージェントはテキストコーパスから関連する事実を動的に知識グラフに追加するが、推論エージェントはフィードバックを提供して抽出エージェントを有用な事実へと導く。このアプローチにより、スパースなグラフにおけるパス探索の性能と解釈可能性が顕著に向上する。

ABSTRACT

In recent years, there has been a surge of interests in interpretable graph reasoning methods. However, these models often suffer from limited performance when working on sparse and incomplete graphs, due to the lack of evidential paths that can reach target entities. Here we study open knowledge graph reasoning---a task that aims to reason for missing facts over a graph augmented by a background text corpus. A key challenge of the task is to filter out "irrelevant" facts extracted from corpus, in order to maintain an effective search space during path inference. We propose a novel reinforcement learning framework to train two collaborative agents jointly, i.e., a multi-hop graph reasoner and a fact extractor. The fact extraction agent generates fact triples from corpora to enrich the graph on the fly; while the reasoning agent provides feedback to the fact extractor and guides it towards promoting facts that are helpful for the interpretable reasoning. Experiments on two public datasets demonstrate the effectiveness of the proposed approach. Source code and datasets used in this paper can be downloaded at https://github.com/shanzhenren/CPL

研究の動機と目的

• 証拠のパスが不足するため、スパースかつ不完全な知識グラフにおける性能の低さという課題に対処すること。
• 推論中にバックグラウンドのテキストコーパスから抽出された事実を用いて、知識グラフの動的拡張を可能にすること。
• グラフ拡張中に不要またはノイズの多い事実をフィルタリングすることで、探索空間の縮小とスケーラビリティの問題を軽減すること。
• 追加される事実が意味的に関連していることを保証することで、推論パスの解釈可能性を向上させること。
• 推論の成功に基づくフィードバックが事実抽出ポリシーをガイドする共同学習フレームワークを構築すること。

提案手法

• 推論エージェント（パス探索用）と事実抽出エージェント（テキストコーパスからの関連事実選択用）の2つの強化学習エージェントを訓練する。
• 事実抽出エージェントが文脈と推論の進行状況に基づいて知識グラフにエッジを動的に追加する共有環境を用いる。
• ターゲットエンティティに正常に到達した際に推論エージェントに濃厚な報酬信号を提供し、その報酬を事実抽出エージェントに逆伝播する。
• 高品質な正例体験を早期に生成するために、トレーニング中に適応的サンプリングを採用し、ポリシー学習の安定化を図る。
• ポリシー勾配に基づく最適化を用いて両エージェントを共同で訓練し、事実抽出ポリシーを推論エージェントの成功に従ってガイドする。
• 既存のパスベース推論モデル（例：Multi-Hop、ConvE、RotatE）と統合することで、アーキテクチャの変更なしに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テキストコーパスから関連する事実を動的に知識グラフに追加することで、スパースかつ不完全な知識グラフにおける推論性能を向上させる共同強化学習フレームワークは有効か？
• RQ2 無関係またはノイズの多い事実をフィルタリングしつつ、効果的なパス推論を支援できるように、事実抽出ポリシーはどのように学習可能か？
• RQ3 推論エージェントからのフィードバックは、時間経過とともに抽出事実の質をどの程度向上させるか？
• RQ4 予測の正確性を向上させつつ、推論パスの解釈可能性を維持できるか？
• RQ5 適応的サンプリング戦略は、共同ポリシー学習プロセスの収束性と安定性にどのように影響するか？

主な発見

• 提案されたCPLフレームワークは、UMLS-PubMedとOpenKEの2つの公開データセットにおいて、強力なベースラインを上回る知識グラフ推論性能を実現した。
• 事実抽出エージェントは、高水準の sug_edge/pos_path 確率比を達成し、有用なエッジの効果的なフィルタリングを学習した。
• トレーニング中に適応的サンプリングが早期に停止したため、性能曲線に谷の形状が現れたが、エージェントが安定した探索ポリシーを学習するにつれて、モデルは回復し、性能が向上した。
• アブレーションスタディの結果、適応的サンプリングを削除するか抽出エージェントを固定すると性能が低下し、共同学習と動的適応の重要性が確認された。
• ケーススタディでは、CPLがパスパターンを学習し、それらのパターンと整合する事実を抽出することで、解釈可能な推論を可能にした。これにより、モデルの透明性が向上した。
• このフレームワークは汎用的であり、Multi-HopにConvEやRotatEを組み合わせたさまざまなパス探索モジュールと統合可能で、推論モジュールの進化に伴い性能が向上した。