[论文解读] Hard-Coded Gaussian Attention for Neural Machine Translation

Weiqiu You, Simeng Sun+1 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 28被引用 11

一句话总结

本文提出硬编码高斯注意力，用固定、与输入无关的高斯分布（以局部位置为中心）替代Transformer中所有可学习的多头注意力机制。令人惊讶的是，仅在编码器和解码器中使用硬编码自注意力的模型在四个语言对上均达到接近基线的BLEU分数，但将交叉注意力替换为硬编码版本会导致BLEU显著下降——仅需引入一个可学习的交叉注意力头即可恢复性能，表明交叉注意力对翻译质量的重要性高于自注意力。

ABSTRACT

Recent work has questioned the importance of the Transformer's multi-headed attention for achieving high translation quality. We push further in this direction by developing a "hard-coded" attention variant without any learned parameters. Surprisingly, replacing all learned self-attention heads in the encoder and decoder with fixed, input-agnostic Gaussian distributions minimally impacts BLEU scores across four different language pairs. However, additionally hard-coding cross attention (which connects the decoder to the encoder) significantly lowers BLEU, suggesting that it is more important than self-attention. Much of this BLEU drop can be recovered by adding just a single learned cross attention head to an otherwise hard-coded Transformer. Taken as a whole, our results offer insight into which components of the Transformer are actually important, which we hope will guide future work into the development of simpler and more efficient attention-based models.

研究动机与目标

• 探究可学习多头注意力是否对高质量神经机器翻译至关重要。
• 评估将所有可学习注意力机制替换为固定、无参数替代方案的影响。
• 确定Transformer中哪些组件（自注意力与交叉注意力）对翻译性能最为关键。
• 探索维持竞争力BLEU分数所需的最少可学习参数配置。
• 通过无参数注意力提升模型效率，同时保持翻译质量。

提出的方法

• 将编码器和解码器中的所有自注意力头替换为以局部窗口内特定位置为中心的固定高斯分布，且不使用任何可学习参数。
• 保留完全可学习的多头交叉注意力作为对比基线。
• 将交叉注意力替换为硬编码高斯分布，以评估其对翻译质量的影响。
• 在完全硬编码的模型中引入一个可学习的交叉注意力头，以恢复性能。
• 实现其他变体，包括基于索引的注意力机制（使用二值核），以进一步简化注意力机制。
• 在四个语言对上通过BLEU分数、解码速度和内存效率评估模型性能。

实验结果

研究问题

• RQ1 能否在不显著降低翻译质量的前提下，完全用固定、不可学习的高斯分布替代编码器和解码器中的自注意力？
• RQ2 与自注意力相比，交叉注意力在维持神经机器翻译高BLEU分数方面有多关键？
• RQ3 在将所有注意力机制硬编码后，恢复性能所需的最少可学习注意力参数数量是多少？
• RQ4 能否通过无参数注意力实现效率提升，同时不牺牲翻译质量？
• RQ5 在建模长距离依赖等语言现象方面，硬编码注意力机制与可学习机制相比表现如何？

主要发现

• 将编码器和解码器中的所有自注意力机制替换为硬编码高斯分布后，四个语言对上的BLEU分数仅出现极小下降，表明自注意力的重要性低于以往假设。
• 将交叉注意力硬编码后导致BLEU分数显著下降5–10分，表明交叉注意力对翻译质量的重要性高于自注意力。
• 在完全硬编码的Transformer中仅引入一个可学习的交叉注意力头，即可恢复大部分性能损失，与完整基线相比仅下降1–3 BLEU分。
• 该硬编码模型在内存效率方面比基线提升26.4%（每批次token数），解码速度提升30.2%，尽管注意力部分完全无参数。
• 分析表明，标准Transformer中的可学习注意力头主要关注局部窗口，支持采用局部化硬编码高斯分布的设计选择。
• 基于索引的注意力机制（使用二值核）在两个数据集上BLEU分数下降不足1分，表明通过极小性能损失可实现进一步效率提升。