[論文レビュー] Go for a Walk and Arrive at the Answer: Reasoning Over Paths in Knowledge Bases using Reinforcement Learning

Rajarshi Das, Shehzaad Dhuliawala+6 more|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 58被引用数 356

ひとこと要約

本論文は、推論経路を発見することによってクエリ質問に答えるために知識グラフを探索する強化学習エージェント Minerva を紹介する。事前に計算された経路を用いず、複数のデータセットで競争力のある結果を示す。

ABSTRACT

Knowledge bases (KB), both automatically and manually constructed, are often incomplete --- many valid facts can be inferred from the KB by synthesizing existing information. A popular approach to KB completion is to infer new relations by combinatory reasoning over the information found along other paths connecting a pair of entities. Given the enormous size of KBs and the exponential number of paths, previous path-based models have considered only the problem of predicting a missing relation given two entities or evaluating the truth of a proposed triple. Additionally, these methods have traditionally used random paths between fixed entity pairs or more recently learned to pick paths between them. We propose a new algorithm MINERVA, which addresses the much more difficult and practical task of answering questions where the relation is known, but only one entity. Since random walks are impractical in a setting with combinatorially many destinations from a start node, we present a neural reinforcement learning approach which learns how to navigate the graph conditioned on the input query to find predictive paths. Empirically, this approach obtains state-of-the-art results on several datasets, significantly outperforming prior methods.

研究の動機と目的

• 不完全な知識ベースに対する自動推論の動機づけと、スケーラブルな経路ベース推論の必要性。
• クエリに条件づけられたKBグラフを遊走して回答ノードを見つけるニューラル強化学習エージェントを提案する。
• 可変長の推論経路を可能にし、事前計算された経路セットを排除する。
• 強化学習からゼロから訓練するエンドツーエンド学習フレームワークを提供し、多様なKBデータセットで評価する。

提案手法

• 知識グラフ上の有限ホライズンの決定性部分観測マルコフ決定過程としてクエリ応答を定式化する。
• 状態を（現在のエンティティ、クエリヘッド、クエリ関係、真の回答）として定義し、観測を（現在のエンティティ、クエリヘッド、クエリ関係）とする。
• パス履歴とクエリ関係を符号化して各ステップで出力ラベル付きエッジの行動を選択するポリシーネットワーク（LSTMベース）を用いる。
• エージェントが後戻りして誤った手順を取り消せるよう、逆関係を組み込む。
• 分散削減のため移動平均ベースラインを用いてREINFORCEで学習し、探索を促進するエントロピー正則化を追加する。
• 推論時にビーム探索をサポートし、軌跡確率で候補回答を順位付けする。

実験結果

リサーチクエスチョン

• RQ1 未知の尾部エンティティを含むクエリに対して、RLエージェントが大規模な知識グラフをナビゲートして答えを見つけることを学べるか？
• RQ2 入力クエリを条件として経路選択を行うことが、ランダムウォークのベースラインより経路発見を改善するか？
• RQ3 小規模および大規模データセットにおいて、埋め込みベースおよび論理規則ベースのKB補完法と比較して Minerva の性能はどうか？
• RQ4 Minerva は部分的に構造化された自然言語クエリや長い推論連鎖を扱えるか？
• RQ5 推論時間でスケーラブルかつ多様なKBにわたる学習の頑健性を持つか？

主な発見

• Minerva は7つの知識ベースデータセットで競争力のある結果を達成し、しばしばいくつかのベースラインを上回る。
• 小規模データセット Kinship と UMLS では埋め込み法が Minerva を上回るが、Minerva は NeuralLP および NTP においていくつかの指標で同等またはそれ以上の性能を示す。
• 大規模データセット wn18rr、fb15k-237、nell-995 では、Minerva は一般的に経路ベースのベースラインを上回り、埋め込み法に対しても特に特定の指標で競争力のある性能を示す。
• Minerva は部分的に構造化された自然言語クエリへ拡張可能であることを、WikiMovies で競争力のある精度で実証。
• このモデルは長い連鎖の推論能力を示し、全エンティティをスコア付けするのではなく局所的なグラフ近傍を探索することで推論を効率化する。