[论文解读] Go for a Walk and Arrive at the Answer: Reasoning Over Paths in Knowledge Bases using Reinforcement Learning

Rajarshi Das, Shehzaad Dhuliawala+6 more|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 58被引用 356

一句话总结

本论文提出 Minerva，一种强化学习智能体，通过发现推理路径在知识图谱中导航来回答查询问题，而无需预先计算的路径，并在多个数据集上显示出具有竞争力的结果。

ABSTRACT

Knowledge bases (KB), both automatically and manually constructed, are often incomplete --- many valid facts can be inferred from the KB by synthesizing existing information. A popular approach to KB completion is to infer new relations by combinatory reasoning over the information found along other paths connecting a pair of entities. Given the enormous size of KBs and the exponential number of paths, previous path-based models have considered only the problem of predicting a missing relation given two entities or evaluating the truth of a proposed triple. Additionally, these methods have traditionally used random paths between fixed entity pairs or more recently learned to pick paths between them. We propose a new algorithm MINERVA, which addresses the much more difficult and practical task of answering questions where the relation is known, but only one entity. Since random walks are impractical in a setting with combinatorially many destinations from a start node, we present a neural reinforcement learning approach which learns how to navigate the graph conditioned on the input query to find predictive paths. Empirically, this approach obtains state-of-the-art results on several datasets, significantly outperforming prior methods.

研究动机与目标

• 激发对不完整的知识库进行自动推理，并需要可扩展、基于路径的推理。
• 提出一个神经强化学习智能体，在查询条件下导航知识库图以找到答案节点。
• 实现可变长度的推理路径并消除预计算的路径集合。
• 提供一个端到端的学习框架，使用强化学习从零开始训练，并在多样化的知识库数据集上进行评估。

提出的方法

• 将查询回答建模为知识图上的一个有限时域的确定性部分可观测马尔可夫决策过程。
• 将状态定义为（当前实体、查询头、查询关系、真实答案），观测为（当前实体、查询头、查询关系）。
• 使用一个策略网络（基于 LSTM）对路径历史和查询关系进行编码，在每一步选择出边标签的行动。
• 引入逆关系以允许智能体回溯并撤销错误步骤。
• 使用 REINFORCE 训练，采用移动均值基线以降低方差，并添加熵正则化以鼓励探索。
• 在推理阶段支持束搜索，通过轨迹概率对候选答案进行排序。

实验结果

研究问题

• RQ1 强化学习智能体是否能够学习在尾实体未知的情况下在大型知识图谱中导航以回答查询？
• RQ2 将路径选择条件化到输入查询上是否能在路径发现方面优于随机游走基线？
• RQ3 Minerva 相对于基于嵌入和基于逻辑规则的知识库补全方法在小型和大型数据集上的表现如何？
• RQ4 Minerva 能否处理部分结构化的自然语言问题和较长的推理链？
• RQ5 在推理时间上是否具有可扩展性，并且在不同知识库上的训练是否具有鲁棒性？

主要发现

• Minerva 在七个知识库数据集上取得具竞争力的结果，且常常优于若干基线。
• 在小型数据集 Kinship 和 UMLS 上，嵌入方法表现优于 Minerva，但 Minerva 在若干指标上达到 NeuralLP 和 NTP 的相同或更高水平。
• 在大型数据集 wn18rr、fb15k-237 和 nell-995 上，Minerva 通常优于基于路径的基线，并在某些指标上与嵌入方法具有竞争力。
• Minerva 可以扩展到部分结构化的自然语言查询，在 WikiMovies 上证明具有竞争力的准确性。
• 该模型展示了对较长推理链的推理能力，并通过在局部图邻域中进行探索来实现高效推理，而不是对所有实体进行评分。