[论文解读] Can Active Memory Replace Attention?

Łukasz Kaiser, Samy Bengio|arXiv (Cornell University)|Oct 27, 2016

Multimodal Machine Learning Applications参考文献 18被引用 16

一句话总结

该论文提出了一种扩展的主动记忆机制——扩展神经图灵机（Extended Neural GPU），其在神经机器翻译任务中的表现与基于变换器的注意力模型相当或更优，在WMT'14英语到德语翻译任务中达到了最先进性能，且对句子长度的敏感度更低。与标准注意力机制不同，后者通过softmax聚焦于单个记忆元素，该模型在每一步中使用可学习变换统一更新所有记忆元素，从而在长序列和小样本数据集上展现出更好的泛化能力。

ABSTRACT

Several mechanisms to focus attention of a neural network on selected parts of its input or memory have been used successfully in deep learning models in recent years. Attention has improved image classification, image captioning, speech recognition, generative models, and learning algorithmic tasks, but it had probably the largest impact on neural machine translation. Recently, similar improvements have been obtained using alternative mechanisms that do not focus on a single part of a memory but operate on all of it in parallel, in a uniform way. Such mechanism, which we call active memory, improved over attention in algorithmic tasks, image processing, and in generative modelling. So far, however, active memory has not improved over attention for most natural language processing tasks, in particular for machine translation. We analyze this shortcoming in this paper and propose an extended model of active memory that matches existing attention models on neural machine translation and generalizes better to longer sentences. We investigate this model and explain why previous active memory models did not succeed. Finally, we discuss when active memory brings most benefits and where attention can be a better choice.

研究动机与目标

• 为解决标准注意力机制的局限性，即仅聚焦于单个记忆元素，且在需要多部分记忆访问的任务中表现不佳。
• 探究主动记忆（即每一步中所有记忆元素均被统一更新）是否能在真实世界NLP任务（如机器翻译）中替代注意力机制。
• 识别先前主动记忆模型在序列到序列任务中未能超越注意力机制的关键缺陷。
• 开发并评估一种增强的主动记忆架构（扩展神经图灵机），该架构在输出生成中引入循环依赖，从而在大规模翻译任务中实现与注意力机制相当的性能。

提出的方法

• 提出一种主动记忆机制：在每个解码步骤中，使用共享的可学习函数（如卷积层或循环层）统一变换所有记忆元素，而非聚焦于单个元素。
• 引入扩展神经图灵机模型，通过在原始神经图灵机基础上增加输出分布中的循环依赖，以更好地建模序列结构。
• 训练过程中采用教师强制策略，以稳定长距离依赖关系的学习，这是实现高性能的关键因素。
• 在每一步中对所有记忆元素应用共享变换，支持并行计算并降低对序列长度的敏感度。
• 训练过程中应用长度归一化和dropout，并通过细致的超参数调优，使模型性能达到或超过基于注意力的模型。
• 在标准基准测试（包括WMT'14和WSJ句法分析）上，使用BLEU分数和困惑度在受控环境下评估性能。

实验结果

研究问题

• RQ1 为何先前的主动记忆模型在神经机器翻译任务中未能超越注意力机制？
• RQ2 主动记忆机制是否能在真实世界NLP任务（尤其是序列到序列翻译）中达到与软注意力相当的性能？
• RQ3 为使主动记忆在长序列和小样本数据集上泛化能力更强，需要哪些架构改进？
• RQ4 在何种场景下主动记忆优于注意力机制，而在何种场景下注意力机制仍占优势？
• RQ5 在输出分布中引入循环依赖如何影响模型性能与泛化能力？

主要发现

• 扩展神经图灵机在WMT'14英语到德语翻译任务中取得了28.4的BLEU分数，与最先进基于注意力的模型性能相当。
• 与注意力基线相比，主动记忆模型对句子长度的敏感度显著降低，在0–10至50+词的所有长度区间内均保持稳定性能。
• 在小型WSJ成分句法分析数据集（4万句）上，模型F1得分为85.1，优于纯序列到序列模型（F1 < 70），展现出在数据有限情况下的强大泛化能力。
• 与注意力模型不同，主动记忆模型在解码过程中无需长度归一化，表明其能从更短的训练样本中更好地泛化。
• 测试集上的困惑度为1.3，与最佳性能的注意力模型相当，表明其具备强大的语言建模能力。
• 研究证实，输出分布中的循环依赖对高性能至关重要，且该特性可与模型架构解耦，使主动记忆在充分正则化后可与注意力机制实现性能对齐。