[論文レビュー] Learning Collaborative Agents with Rule Guidance for Knowledge Graph Reasoning

Deren Lei, Gangrong Jiang+4 more|arXiv (Cornell University)|May 1, 2020

Advanced Graph Neural Networks参考文献 23被引用数 5

ひとこと要約

本稿では、報酬信号が疎である問題に対処するため、シンボリックなルールを統合してウォークベースの知識グラフ推論を向上させる共同強化学習フレームワークであるRuleGuiderを提案する。エージェントをエンティティおよび関係のサブエージェントに分離し、AnyBURLから得られる高品質なルールを報酬形状に用いることで、WN18RRおよびNELL-995で最先端の性能を達成するとともに、解釈可能性を維持し、アクション空間の複雑さを低減する。

ABSTRACT

Walk-based models have shown their advantages in knowledge graph (KG) reasoning by achieving decent performance while providing interpretable decisions. However, the sparse reward signals offered by the KG during traversal are often insufficient to guide a sophisticated walk-based reinforcement learning (RL) model. An alternate approach is to use traditional symbolic methods (e.g., rule induction), which achieve good performance but can be hard to generalize due to the limitation of symbolic representation. In this paper, we propose RuleGuider, which leverages high-quality rules generated by symbolic-based methods to provide reward supervision for walk-based agents. Experiments on benchmark datasets show that RuleGuider improves the performance of walk-based models without losing interpretability.

研究の動機と目的

• ウォークベースの知識グラフ推論における報酬の疎さ問題に対処すること。標準の強化学習エージェントはフィードバックが限られるため、困難に直面する。
• シンボリックなルールベース推論の長所（特定のデータセットで高い正確性）とウォークベースの強化学習手法の解釈可能性を統合すること。
• エンティティと関係の選択を分離することで、アクション空間を縮小し、学習の効率を向上させること。
• 知識グラフ補完タスクで最先端の性能を達成しながらも、モデルの解釈可能性を維持すること。
• ルールガイド付き推論が、人間が理解しやすく論理的に整合性のある推論経路を生成するかどうかを評価すること。

提案手法

• RuleGuiderは、知識グラフ内で推論経路を生成するために協力するエンティティエージェントと関係エージェントからなる二エージェントアーキテクチャを採用する。
• エージェントは、標準的な「ヒット」信号（密度の高い報酬）と、事前に抽出されたシンボリックなルールからの報酬形状を組み合わせた報酬関数を用いる。
• シンボリックなルールは、最先端のルール抽出手法であるAnyBURLを用いて抽出され、学習中に強化学習エージェントをガイドする。
• エンティティと関係の選択を分離することでアクション空間をプルーニングし、1ステップあたりの可能なアクション数を削減する。
• 標準的な強化学習による微調整の前に、ルールガイド付きの教師付き事前学習フェーズを用いてエージェントを初期化する。
• 報酬形状および経路スコアリングにComplEx埋め込みを用いることで、既存の知識グラフ埋め込み技術と互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 シンボリックなルールは、知識グラフ推論におけるウォークベース強化学習エージェントのサンプル効率と性能を顕著に向上させることができるか？
• RQ2 ルールガイド付きの報酬形状は、標準の強化学習ベースラインと比較して、より解釈可能で人間が理解しやすい推論経路を生成するか？
• RQ3 エージェントをエンティティおよび関係のサブエージェントに分離することで、性能とアクション空間の複雑さにどのような影響を与えるか？
• RQ4 不完全な知識グラフにおける報酬信号の疎さを、どの程度までルールガイドが補うことができるか？
• RQ5 ルール品質が異なるデータセット（例：WN18RRとFB15k-237）間で、ルールガイド付きエージェントは一般化可能か？

主な発見

• RuleGuiderはWN18RRおよびNELL-995で最先端の性能を達成し、H@1が42.9、MRRが46.5を記録。既存のウォークベース手法を上回る。
• FB15k-237では競争力ある結果（H@1: 42.4、MRR: 46.4）を達成したが、大規模な関係空間におけるルールカバレッジの疎さが性能を制限している。
• FB15K-237における人間評価では、63.08%の投票がRuleGuiderの推論経路をMultihopのそれよりも好む結果となり、より優れた人間の解釈可能性と論理的整合性を示した。
• アブレーションスタディの結果、ルールによる事前学習とエージェントの分離が性能向上に顕著に寄与しており、単一エージェントバージョンはアクション空間が大きいため性能が劣る。
• トレーニング中に低品質なルールを動的に放棄することが示された。WN18RRでは事前学習時におけるルール使用率が45.6%からトレーニング時で32.1%に低下した。
• ルールガイドの導入により、疎な密度報酬への依存が軽減され、疎な知識グラフにおいてより安定的かつ効果的な学習が可能になった。