[论文解读] Implicit ReasoNet: Modeling Large-Scale Structured Relationships with Shared Memory

Yelong Shen, Po-Sen Huang+2 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 28被引用 12

一句话总结

本文提出了隐式推理网络（Implicit ReasoNets, IRNs），这是一种新颖的框架，通过共享记忆和搜索控制器隐式执行多步推理，联合训练模型以实现大规模知识库补全。与以往直接操作观测实例的方法不同，IRNs通过记忆增强推理学习关系，相较于先前方法在FB15k上实现了5.7%的性能提升，达到新的最先进水平。

ABSTRACT

Recent studies on knowledge base completion, the task of recovering missing relationships based on recorded relations, demonstrate the importance of learning embeddings from multi-step relations. However, due to the size of knowledge bases, learning multi-step relations directly on top of observed instances could be costly. In this paper, we propose Implicit ReasoNets (IRNs), which is designed to perform large-scale inference implicitly through a search controller and shared memory. Unlike previous work, IRNs use training data to learn to perform multi-step inference through the shared memory, which is also jointly updated during training. While the inference procedure is not operating on top of observed instances for IRNs, our proposed model outperforms all previous approaches on the popular FB15k benchmark by more than 5.7%.

研究动机与目标

• 解决大规模知识库中学习多步关系的计算成本问题。
• 实现在不直接操作观测实例情况下的高效、可扩展推理。
• 联合训练搜索控制器与共享记忆，实现对结构化关系的隐式推理。
• 提升在标准基准如FB15k上的知识库补全性能。

提出的方法

• IRNs采用共享记忆模块，在训练过程中存储并更新关系模式的表示。
• 搜索控制器动态选择记忆操作，以模拟多步推理，而无需显式枚举路径。
• 模型通过在观测三元组上进行训练，联合更新控制器与记忆，实现隐式推理。
• 该架构在推理过程中避免对观测实例进行直接计算，从而降低计算开销。
• 多步推理通过记忆交互隐式建模，而非显式路径遍历。
• 训练数据通过共享记忆和控制器监督推理模式的学习。

实验结果

研究问题

• RQ1 通过共享记忆的隐式推理能否提升知识库补全的可扩展性？
• RQ2 联合训练搜索控制器与记忆对大规模知识库性能有何影响？
• RQ3 模型是否能在推理过程中不操作观测实例的情况下超越基于显式路径的方法？
• RQ4 记忆增强推理在复杂多步关系模式上的泛化能力如何？

主要发现

• IRNs在FB15k基准上实现了新的最先进性能，超越所有先前方法。
• 该模型在FB15k数据集上的性能比先前方法高出超过5.7%。
• 隐式推理机制实现了可扩展推理，且无需对观测实例进行直接计算。
• 搜索控制器与共享记忆的联合训练带来了更有效的多步推理模式。
• 由于高效的内存利用，该方法在大规模知识库上表现出强大的泛化能力。
• 结果证实，记忆增强推理在准确性和可扩展性方面均可超越显式路径方法。