[论文解读] Modeling Recurrence for Transformer

Jie Hao, Xing Wang+4 more|arXiv (Cornell University)|Apr 5, 2019

Natural Language Processing Techniques被引用 6

一句话总结

本文提出通过引入额外的循环编码器来增强Transformer模型，以解决其因缺乏循环机制而导致的翻译性能受限问题。通过集成标准RNN或新型注意力循环网络（ARN），该模型在WMT14和WMT17基准测试中均提升了翻译质量，其中浅层ARN变体优于深层模型，并展现出更强的句法表征学习能力。

ABSTRACT

Recently, the Transformer model that is based solely on attention mechanisms, has advanced the state-of-the-art on various machine translation tasks. However, recent studies reveal that the lack of recurrence hinders its further improvement of translation capacity. In response to this problem, we propose to directly model recurrence for Transformer with an additional recurrence encoder. In addition to the standard recurrent neural network, we introduce a novel attentive recurrent network to leverage the strengths of both attention and recurrent networks. Experimental results on the widely-used WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness of the proposed approach. Our studies also reveal that the proposed model benefits from a short-cut that bridges the source and target sequences with a single recurrent layer, which outperforms its deep counterpart.

研究动机与目标

• 解决Transformer模型因缺乏循环机制而在捕捉序列依赖关系方面的局限性。
• 通过将循环机制引入Transformer架构，提升翻译性能。
• 探究新型注意力循环网络（ARN）是否能比标准RNN更有效地结合注意力与循环机制。
• 评估循环编码器深度与融合策略对模型性能的影响。
• 分析所提模型是否能学习到更具信息量的表征，特别是句法结构方面的表征。

提出的方法

• 引入一个额外的循环编码器，对输入词嵌入进行序列化处理，生成隐藏状态序列。
• 采用标准RNN与一种新型注意力循环网络（ARN）实现循环编码器，其中ARN通过注意力提取的特征向量对表征进行迭代修正。
• 通过残差连接将循环编码器的输出馈送到Transformer解码器，融合策略在深度与层间连接方式上有所差异。
• 使用门控融合机制，结合标准Transformer编码器与循环编码器的表征，用于探针任务。
• 在WMT14英语→德语与WMT17中文→英语翻译任务上，采用标准Transformer训练协议进行模型训练。
• 开展语言学探针任务，以评估所学习编码器输出的句法与语义表征质量。

实验结果

研究问题

• RQ1 在Transformer模型中添加循环编码器是否能提升翻译性能？
• RQ2 所提出的注意力循环网络（ARN）是否在Transformer中建模循环机制方面优于标准RNN？
• RQ3 循环编码器的深度如何影响模型性能？
• RQ4 不同融合策略（如单层与深层、顶层与全层输入）对翻译质量有何影响？
• RQ5 循环编码器的表征是否能捕捉到更具信息量的语言学特征，特别是句法结构？

主要发现

• 所提模型在WMT14英语→德语与WMT17中文→英语翻译任务中，BLEU分数均持续提升。
• 单层ARN实现优于深层ARN与RNN变体，表明浅层循环结构更具有效性。
• 最短路径融合策略——即仅将循环编码器输出馈送到解码器顶层——取得了最佳性能，优于更深层与更宽的融合方案。
• 语言学探针任务显示，所提模型（尤其是ARN）在句法结构任务（如'TrDep'与'Toco'）上的准确率显著提升。
• 1层ARN变体在表面探针任务（如'WC'与'SoMo'）上表现更优，表明其在词级与语义表征学习方面更具优势。
• ARN模型在所有探针任务中的准确率均高于基线Transformer，证实其学习到的表征更具信息量且结构更清晰。