[论文解读] Gated End-to-End Memory Networks

Julien Pérez, Fei Liu|arXiv (Cornell University)|Oct 13, 2016

Topic Modeling参考文献 19被引用 10

一句话总结

本文提出了一种新型架构——门控端到端记忆网络（Gated End-to-End Memory Networks, GMemN2N），该架构引入了一种可微分的门控机制，以动态调节记忆增强神经网络中的记忆访问。通过使模型在无需额外监督的情况下，端到端地学习何时以及如何跳过记忆跳跃，该方法在具有挑战性的 bAbI 任务（包括位置推理和三元关系）以及 DSTC-2 对话基准上均取得了最先进性能。

ABSTRACT

Machine reading using differentiable reasoning models has recently shown remarkable progress. In this context, End-to-End trainable Memory Networks, MemN2N, have demonstrated promising performance on simple natural language based reasoning tasks such as factual reasoning and basic deduction. However, other tasks, namely multi-fact question-answering, positional reasoning or dialog related tasks, remain challenging particularly due to the necessity of more complex interactions between the memory and controller modules composing this family of models. In this paper, we introduce a novel end-to-end memory access regulation mechanism inspired by the current progress on the connection short-cutting principle in the field of computer vision. Concretely, we develop a Gated End-to-End trainable Memory Network architecture, GMemN2N. From the machine learning perspective, this new capability is learned in an end-to-end fashion without the use of any additional supervision signal which is, as far as our knowledge goes, the first of its kind. Our experiments show significant improvements on the most challenging tasks in the 20 bAbI dataset, without the use of any domain knowledge. Then, we show improvements on the dialog bAbI tasks including the real human-bot conversion-based Dialog State Tracking Challenge (DSTC-2) dataset. On these two datasets, our model sets the new state of the art.

研究动机与目标

• 解决标准 MemN2N 在复杂推理任务（如多事实问答、位置推理和对话理解）中的局限性。
• 开发一种可微分的门控机制，使模型能够以端到端方式、无需外部监督地实现对记忆访问的动态可学习控制。
• 提升在具有挑战性的 bAbI 任务和真实世界对话数据集（如 DSTC-2）上的推理性能。
• 分析模型的注意力机制与门控行为，以理解其推理动态。

提出的方法

• 引入一种变换门机制，用于调节 MemN2N 中记忆跳跃之间的信息流动。
• 门控值通过在每个跳跃处对控制器隐藏状态应用可微函数计算得出，从而支持端到端训练。
• 模型采用残差式连接，其中每个跳跃的输出通过门控值与输入进行组合。
• 门控机制使网络能够跳过无关的记忆跳跃，从而减少由误导性注意力带来的噪声累积。
• 该架构保持标准 MemN2N 的结构，但在每个跳跃处增加了可学习的门控机制，最终通过在门控输出上应用 softmax 层进行预测。
• 模型采用标准反向传播进行端到端训练，门控决策无需辅助监督。

实验结果

研究问题

• RQ1 可微分门控机制是否能提升端到端记忆网络在复杂任务上的推理性能？
• RQ2 动态跳过记忆跳跃的能力是否能提升多跳推理和对话任务上的泛化性能？
• RQ3 所学习的门控机制如何影响注意力分布与推理路径选择？
• RQ4 该模型是否能在不使用外部知识或任务特定监督的情况下实现最先进结果？

主要发现

• GMemN2N 在最具挑战性的 bAbI 任务（包括位置推理和三元关系）上取得了新的最先进性能，且未使用任何领域知识。
• 在 DSTC-2 对话基准上，该模型创下新 SOTA，展现出在真实人类-机器人对话跟踪任务中的强大性能。
• 通过 t-SNE 可视化显示，模型能将注意力集中在相关事实上，正确答案形成清晰的独立聚类。
• 注意力模式表明，GMemN2N 通过赋予低门控值减少对早期噪声跳跃的依赖，而 MemN2N 则会累积误导性信息。
• 在 bAbI 任务 5 的定性分析中，GMemN2N 正确识别出弗雷德是足球的给予者，而 MemN2N 因注意力漂移错误地预测为玛丽。
• 平均变换门控值显示，GMemN2N 学会抑制无关跳跃，门控值更集中于最相关的跳跃上。