[论文解读] End-To-End Memory Networks

Sainbayar Sukhbaatar, Arthur Szlam+2 more|arXiv (Cornell University)|Mar 31, 2015

Topic Modeling参考文献 25被引用 689

一句话总结

本文提出端到端记忆网络，一种具有外部记忆上循环注意力机制的可微分神经网络，可在无需中间支持事实监督的情况下实现端到端训练。该模型通过多次记忆跳转提升机器阅读理解与语言建模性能，在参数量少于LSTM的情况下表现具有竞争力，并在Penn Treebank和Text8等基准数据集上超越RNN模型。

ABSTRACT

We introduce a neural network with a recurrent attention model over a possibly large external memory. The architecture is a form of Memory Network (Weston et al., 2015) but unlike the model in that work, it is trained end-to-end, and hence requires significantly less supervision during training, making it more generally applicable in realistic settings. It can also be seen as an extension of RNNsearch to the case where multiple computational steps (hops) are performed per output symbol. The flexibility of the model allows us to apply it to tasks as diverse as (synthetic) question answering and to language modeling. For the former our approach is competitive with Memory Networks, but with less supervision. For the latter, on the Penn TreeBank and Text8 datasets our approach demonstrates comparable performance to RNNs and LSTMs. In both cases we show that the key concept of multiple computational hops yields improved results.

研究动机与目标

• 开发一种支持在外部记忆上进行多次计算跳转的神经网络架构，以支持推理任务。
• 实现记忆网络的端到端训练，无需对中间支持事实进行监督，从而提升在真实任务中的适用性。
• 通过在记忆上进行多跳注意力机制，提升机器阅读理解与语言建模的性能。
• 证明多跳机制与记忆表征的联合优化能显著增强模型的泛化能力与性能表现。
• 展示该模型可通过极少的架构修改，有效扩展至大规模词汇量的语言建模任务。

提出的方法

• 模型使用嵌入矩阵A将输入序列存储为连续的记忆向量，查询同样通过矩阵B进行嵌入。
• 通过查询嵌入与每个记忆向量的点积结果进行Softmax运算，计算注意力权重，生成记忆位置的概率分布。
• 输出为输出向量c_i的加权和，权重为注意力概率，从而实现可微分的记忆读取操作。
• 通过递归地使用每跳的输出结果更新查询表示，实现多跳机制，采用残差连接（u^{k+1} = u^k + o^k）。
• 应用参数共享策略——相邻层间与层内共享——以减少参数量并提升训练稳定性。
• 最终预测通过将最终查询-输出组合输入到最终权重矩阵W，并经由Softmax生成，采用交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 能否在无需对中间推理步骤进行监督的情况下，实现记忆网络的端到端训练？
• RQ2 记忆跳转次数如何影响机器阅读理解与语言建模任务的性能表现？
• RQ3 可微分记忆机制能否在语言建模基准上超越标准RNN与LSTM模型？
• RQ4 多跳机制是否能更好地建模序列任务中的长期依赖与上下文信息？
• RQ5 参数共享与权重绑定策略如何影响模型的泛化能力与可扩展性？

主要发现

• 在Penn Treebank数据集上，模型困惑度达到111，优于RNN/SCRN（115），且参数量仅为同类RNN模型的1.5倍，接近LSTM性能。
• 在Text8数据集上，模型困惑度为147，优于LSTM（154），尽管其参数量仅为标准RNN的1.5倍。
• 增加记忆跳转次数能持续提升性能，证明多跳推理在模型中的关键作用。
• 注意力权重的可视化显示，不同跳次具有不同功能专长——部分关注近期词汇，部分广泛注意整个记忆——表明其具有互补性。
• 与RNN不同，该记忆不会呈指数衰减；相反，其在记忆位置上保持稳定的激活状态，这可能是性能提升的原因之一。
• 梯度裁剪（L2范数阈值为50）对训练稳定性至关重要，尤其在深层多跳模型中。