[论文解读] A Deep Memory-based Architecture for Sequence-to-Sequence Learning

Fandong Meng, Zhengdong Lu+3 more|arXiv (Cornell University)|Jun 22, 2015

Natural Language Processing Techniques参考文献 25被引用 26

一句话总结

本文提出 DeepMemory，一种基于深度记忆的序列到序列学习架构，通过堆叠的记忆层与可学习的读写操作，对输入序列执行分层非线性变换。该方法在机器翻译基准测试中达到最先进性能，优于 RNNsearch，且在更小模型和更深架构下与短语基于系统 Moses 表现相当。

ABSTRACT

We propose DEEPMEMORY, a novel deep architecture for sequence-to-sequence learning, which performs the task through a series of nonlinear transformations from the representation of the input sequence (e.g., a Chinese sentence) to the final output sequence (e.g., translation to English). Inspired by the recently proposed Neural Turing Machine (Graves et al., 2014), we store the intermediate representations in stacked layers of memories, and use read-write operations on the memories to realize the nonlinear transformations between the representations. The types of transformations are designed in advance but the parameters are learned from data. Through layer-by-layer transformations, DEEPMEMORY can model complicated relations between sequences necessary for applications such as machine translation between distant languages. The architecture can be trained with normal back-propagation on sequenceto-sequence data, and the learning can be easily scaled up to a large corpus. DEEPMEMORY is broad enough to subsume the state-of-the-art neural translation model in (Bahdanau et al., 2015) as its special case, while significantly improving upon the model with its deeper architecture. Remarkably, DEEPMEMORY, being purely neural network-based, can achieve performance comparable to the traditional phrase-based machine translation system Moses with a small vocabulary and a modest parameter size.

研究动机与目标

• 解决浅层神经序列到序列模型在处理结构差异较大的语言之间翻译时的长距离依赖问题。
• 通过受神经图灵机（NTM）启发的深层架构，提升序列建模中的表征学习能力，实现分层非线性变换。
• 通过堆叠多个记忆层并引入可学习的读写机制，提升神经机器翻译（NMT）的泛化能力与表达能力。
• 证明具有结构化记忆操作的深层架构在长句与复杂句子上的性能优于标准注意力机制模型。
• 验证混合寻址（内容与位置相关）在记忆操作中的有效性，以建模复杂的语言转换。

提出的方法

• DeepMemory 采用记忆层堆叠结构，每一层存储输入序列的中间表征，实现表征的分层变换。
• 该架构在记忆上使用可微分的读写操作，通过内容相关（C-寻址）与位置相关（L-寻址）两种寻址模式控制对记忆状态的访问。
• 每一层变换通过读写操作实现非线性映射，参数通过端到端反向传播在序列到序列数据上进行学习。
• 模型支持跨层读取，并在记忆层之间引入捷径连接，以增强梯度流动与表征灵活性。
• 该架构泛化了现有模型：RNNsearch 与基于注意力的 NMT 是 DeepMemory 在层数更少、记忆操作更简单的特例。
• 模型在大规模平行语料上使用标准反向传播进行训练，超参数通过在翻译任务上优化 BLEU 分数进行调整。

实验结果

研究问题

• RQ1 基于堆叠记忆层与可学习读写操作的深层架构，是否能超越浅层编码器-解码器与基于注意力的模型，在序列到序列建模中实现性能提升？
• RQ2 基于记忆的变换堆栈的深度如何影响机器翻译中长句与复杂句的性能表现？
• RQ3 内容相关（C-寻址）与位置相关（L-寻址）记忆寻址在建模语言转换中的贡献分别是什么？
• RQ4 跨层读取与记忆层之间的残差式连接是否能提升表征学习与模型泛化能力？
• RQ5 纯神经网络、基于记忆的架构是否能在更小模型尺寸下实现与传统短语基于系统（如 Moses）相当的性能？

主要发现

• DeepMemory 在四层架构（Arc-III）下，在 WMT 2014 英语到德语翻译任务中取得 31.03 的 BLEU 分数，显著优于 RNNsearch（最佳：30.63），并匹配短语基于系统 Moses（31.95）。
• 在长度超过 30 个词的句子上，Arc-III 相较 Arc-II 稳定提升 1.5–2 BLEU 分点，表明其在长距离依赖处理方面更具优势。
• 中间层中使用基于内容的（C-寻址）读取操作显著提升了在结构差异较大的语言之间翻译的性能，如 Arc-II 与 Arc-III 所示。
• 跨层读取与捷径连接始终提升性能；即使参数量保持不变，移除这些机制也会导致 BLEU 分数明显下降。
• Arc-IV 仅使用 C-寻址进行写入，在正常长度句子（≤40 个词）上表现与 RNNsearch（最佳）相当，但在极长句子（>60 个词）上表现较差，表明纯 C-寻址在写入操作中存在优化挑战。
• 该架构将 RNNsearch 视为特例，证实其通用性与可扩展性，同时通过堆叠记忆变换实现更深、更具表达力的建模。