[论文解读] Finding ReMO (Related Memory Object): A Simple Neural Architecture for Text based Reasoning

Jihyung Moon, Hyochang Yang+1 more|arXiv (Cornell University)|Jan 25, 2018

Topic Modeling参考文献 11被引用 8

一句话总结

本文提出关系记忆网络（RMN），一种新颖的神经架构，通过在记忆网络框架中引入多层感知机（MLP）来识别相关记忆对象（ReMO），从而增强基于文本的推理能力。通过用基于MLP的输出特征图替代传统的注意力机制或内积机制，RMN在bAbI故事型和对话型问答任务上实现了最先进性能，尤其在具有大规模记忆集合的多跳推理场景中表现卓越。

ABSTRACT

To solve the text-based question and answering task that requires relational reasoning, it is necessary to memorize a large amount of information and find out the question relevant information from the memory. Most approaches were based on external memory and four components proposed by Memory Network. The distinctive component among them was the way of finding the necessary information and it contributes to the performance. Recently, a simple but powerful neural network module for reasoning called Relation Network (RN) has been introduced. We analyzed RN from the view of Memory Network, and realized that its MLP component is able to reveal the complicate relation between question and object pair. Motivated from it, we introduce which uses MLP to find out relevant information on Memory Network architecture. It shows new state-of-the-art results in jointly trained bAbI-10k story-based question answering tasks and bAbI dialog-based question answering tasks.

研究动机与目标

• 通过增强记忆网络中的关系推理能力，提升基于文本的问答性能。
• 解决现有模型在处理大规模记忆和复杂关系时效率不足的问题。
• 开发一种方法，有效识别跨多跳的关联支持句（ReMO）。
• 在bAbI数据集上，推理准确率超越先前模型如MemN2N、DMN+和RN。
• 通过基于MLP的机制聚焦于相关句对，实现在高关系场景下的数据高效学习。

提出的方法

• RMN将多层感知机（MLP）集成到记忆网络的输出特征图中，以建模问题与记忆对象之间的复杂关系。
• 模型使用嵌入层将输入句子和问题转换为稠密向量表示。
• 应用注意力机制计算问题与每个记忆对象之间的相关性得分（α），实现选择性关注。
• 泛化步骤通过擦除已使用的信息来更新记忆，支持多跳推理。
• 推理组件利用MLP基于通过注意力识别出的最相关记忆对象计算最终答案。
• 该架构通过端到端的梯度下降方法进行训练，使用问题-答案对的交叉熵损失函数。

实验结果

研究问题

• RQ1 与传统的内积或注意力机制相比，基于MLP的输出特征图是否能提升记忆网络中的关系推理能力？
• RQ2 在支持句数量不断增加的情况下，所提出的RMN模型在多跳推理任务中的表现如何？
• RQ3 当无关句对数量增加时，特别是在大规模记忆设置下，模型是否仍能保持高性能？
• RQ4 RMN在对话型推理任务中对未登录词（OOV）输入是否具有良好的泛化能力？
• RQ5 RMN中的注意力机制如何在保留关键支持事实的同时过滤无关关系？

主要发现

• RMN在bAbI-10k故事型问答任务上达到最先进性能，优于包括DMN+和RN在内的先前模型。
• 在bAbI对话型问答数据集上，RMN在1跳任务和任务1（1个支持句）中均实现0.0%错误率，表明在简单案例中表现完美。
• 在任务2（2个支持句）中，RMN实现0.5%错误率，显著低于先前模型，证明其在多跳推理中的强大性能。
• 在任务3（3个支持句）中，RMN实现14.7%错误率，表明即使在跳跃数增加时仍具鲁棒性。
• 注意力权重（α）的可视化结果证实，RMN能正确识别相关记忆对象，如餐厅信息和用户请求，无论在普通测试案例还是OOV测试案例中均表现准确。
• 在OOV场景下，模型仍保持高准确率，例如在任务1（OOV）中，尽管遇到未见词汇，仍能正确生成API调用，表明其具备强大的泛化能力。