[论文解读] Hybrid Self-Attention Network for Machine Translation

Kaitao Song, Xu Tan+2 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 22被引用 12

一句话总结

本文提出了一种新型的自注意力机制——混合自注意力网络（HySAN），通过任务特定的掩码和挤压门机制，将全局、局部、左文和右文注意力整合到基于Transformer的机器翻译模型中，实现了显著的性能提升。在WMT17中文-英文翻译任务上，BLEU得分最高提升1.07分；在IWSLT14德文-英文任务上，BLEU得分提升1.0分，且仅引入极少的额外参数。

ABSTRACT

The encoder-decoder is the typical framework for Neural Machine Translation (NMT), and different structures have been developed for improving the translation performance. Transformer is one of the most promising structures, which can leverage the self-attention mechanism to capture the semantic dependency from global view. However, it cannot distinguish the relative position of different tokens very well, such as the tokens located at the left or right of the current token, and cannot focus on the local information around the current token either. To alleviate these problems, we propose a novel attention mechanism named Hybrid Self-Attention Network (HySAN) which accommodates some specific-designed masks for self-attention network to extract various semantic, such as the global/local information, the left/right part context. Finally, a squeeze gate is introduced to combine different kinds of SANs for fusion. Experimental results on three machine translation tasks show that our proposed framework outperforms the Transformer baseline significantly and achieves superior results over state-of-the-art NMT systems.

研究动机与目标

• 为解决标准自注意力机制在捕捉序列建模中相对位置顺序和局部上下文方面的局限性。
• 改进Transformer模型难以区分标记左右上下文信息的问题，尤其是在句式结构模糊时。
• 通过提取多尺度语义信息（全局、局部及方向性）来增强表征学习，同时不显著增加模型复杂度。
• 设计一种高效、轻量级的机制，在保持计算效率的同时整合多个注意力分支。
• 在多种语言对和模型规模下，实现卓越的翻译性能。

提出的方法

• HySAN模块引入多个并行注意力分支，每个分支通过不同的掩码应用于缩放点积注意力，以提取特定的上下文信息：全局、局部、左文和右文表示。
• 每个注意力分支使用可学习掩码，将注意力计算限制在特定的空间或序列上下文范围内，使模型能够捕捉长距离依赖关系与局部模式。
• 通过基于输入特征的可学习加权机制，挤压门机制动态融合不同注意力分支的输出，提升特征融合的相关性。
• 该方法即插即用，仅需对标准Transformer编码器-解码器架构进行微小修改，参数增加极少（不足1%）。
• 注意力机制同时应用于编码器和解码器，同时保留位置嵌入以维持相对位置感知能力。
• 模型采用标准交叉熵损失进行端到端训练，并通过Adam优化器进行标准反向传播优化。

实验结果

研究问题

• RQ1 能否通过结合全局、局部及方向性上下文的混合注意力机制，提升神经机器翻译中的序列建模性能？
• RQ2 与标准自注意力相比，掩码自注意力分支在捕捉相对位置和局部依赖信息方面是否更有效？
• RQ3 挤压门机制是否能以参数高效的方式增强跨多样化注意力分支的特征融合？
• RQ4 HySAN在多种语言对和模型规模下，对翻译性能的提升程度如何？
• RQ5 所提出方法是否能在保持低计算开销和极少参数增加的前提下，实现SOTA结果？

主要发现

• 在小模型设置下，HySAN在IWSLT14德文-英文翻译任务中相比Transformer基线模型，BLEU得分提升1.0分。
• 在WMT14英文-德文任务中，HySAN在基模型设置下性能提升0.6 BLEU分，在大模型设置下提升0.4 BLEU分。
• 在WMT17中文-英文翻译任务中，HySAN相比Transformer基线模型实现1.07 BLEU分的提升，甚至超越了更复杂的集成系统。
• 模型在训练约20,000步后收敛速度优于基线，约在85,000步时达到峰值性能，表明训练动态得到改善。
• 注意力可视化结果表明，局部和方向性注意力分支学习到了聚焦且非均匀的注意力模式，验证了其提取局部与方向性上下文的能力。
• 该方法使模型参数增加不足1%，并引入可忽略的计算开销，展现出高度的效率与可扩展性。