[论文解读] Convolutional Self-Attention Networks

Baosong Yang, Longyue Wang+3 more|arXiv (Cornell University)|Apr 5, 2019

Topic Modeling参考文献 28被引用 19

一句话总结

本文提出卷积自注意力网络（CSANs），一种无需参数的模型，通过引入一维和二维卷积来建模局部依赖关系以及注意力头之间的特征交互，从而增强自注意力机制。该方法在多个语种对的翻译任务中均优于Transformer基线模型及现有的局部性增强模型，且未增加参数量。

ABSTRACT

Self-attention networks (SANs) have drawn increasing interest due to their high parallelization in computation and flexibility in modeling dependencies. SANs can be further enhanced with multi-head attention by allowing the model to attend to information from different representation subspaces. In this work, we propose novel convolutional self-attention networks, which offer SANs the abilities to 1) strengthen dependencies among neighboring elements, and 2) model the interaction between features extracted by multiple attention heads. Experimental results of machine translation on different language pairs and model settings show that our approach outperforms both the strong Transformer baseline and other existing models on enhancing the locality of SANs. Comparing with prior studies, the proposed model is parameter free in terms of introducing no more parameters.

研究动机与目标

• 为解决自注意力网络因全局注意力分布而难以捕捉局部依赖关系和短语模式的问题。
• 在不引入额外参数的前提下，实现不同多头注意力子空间所学习特征之间的交互。
• 通过动态卷积注意力机制建模局部上下文，提升翻译质量和训练效率。
• 验证所提方法在多种语种对和模型架构中的通用性与有效性。

提出的方法

• 引入一维卷积，将注意力范围限制在相邻词元的局部窗口内，以增强自注意力中的局部性建模。
• 在词元位置和注意力头子空间两个维度上应用二维卷积，实现相邻头之间特征的动态交互。
• 使用无参数卷积以保持计算效率并避免增加模型参数。
• 将卷积注意力机制整合到标准多头自注意力框架中，以局部化和跨头感知的操作替代标准注意力计算。
• 采用基于窗口的注意力机制，其中每个查询仅关注固定大小的局部上下文，受卷积核大小控制。
• 将注意力机制扩展至（词元位置，头索引）的二维网格上，实现在注意力计算过程中跨注意力头的特征交互。

实验结果

研究问题

• RQ1 局部注意力建模是否能提升自注意力网络在序列建模任务中的性能？
• RQ2 注意力头之间的动态卷积交互是否能超越独立多头注意力，带来更优的特征表示？
• RQ3 是否可以在不引入额外可训练参数的前提下实现局部性建模？
• RQ4 与现有方法相比，所提方法在翻译质量与训练效率方面表现如何？
• RQ5 该模型在不同语种对和模型配置中是否具有普遍有效性？

主要发现

• 在WMT14 En→De验证集上，窗口大小为11的一维卷积自注意力网络（1D-CSAN）表现最佳，优于其他窗口大小。
• 二维卷积自注意力网络（2D-CSAN）通过实现注意力头之间的特征交互，进一步提升了翻译质量，尤其在头数适中时效果更显著。
• 所提模型在三个机器翻译任务（WMT14 En→De、WMT17 Zh→En、WAT17 Ja→En）中均持续提升BLEU分数，证明其通用性。
• 在基础设置下，2D-CSAN的性能可与更大的Transformer-Big模型相媲美，表明其具备出色的效率与可扩展性。
• 模型提升了短语级别的翻译准确率，尤其在较大n-gram上表现更优，证实其在捕捉短语模式方面的有效性。
• 所提方法优于现有模型（如基于CNN的局部注意力及其他增加参数的方法），同时保持无参数特性与高效性。