[论文解读] Convolutional Self-Attention Network

Baosong Yang, Longyue Wang+3 more|arXiv (Cornell University)|Oct 31, 2018

Neural Networks and Applications被引用 8

一句话总结

该论文提出了一种卷积自注意力网络（CSAN），通过捕捉局部邻域依赖关系并建模多个注意力头之间的交互，增强了自注意力网络，且未增加任何新参数。在WMT14英德翻译任务中，CSAN的表现优于Transformer基线模型以及先前专注于提升自注意力局部性的方法。

ABSTRACT

Self-attention network (SAN) has recently attracted increasing interest due to its fully parallelized computation and flexibility in modeling dependencies. It can be further enhanced with multi-headed attention mechanism by allowing the model to jointly attend to information from different representation subspaces at different positions (Vaswani et al., 2017). In this work, we propose a novel convolutional self-attention network (CSAN), which offers SAN the abilities to 1) capture neighboring dependencies, and 2) model the interaction between multiple attention heads. Experimental results on WMT14 English-to-German translation task demonstrate that the proposed approach outperforms both the strong Transformer baseline and other existing works on enhancing the locality of SAN. Comparing with previous work, our model does not introduce any new parameters.

研究动机与目标

• 改进自注意力网络中局部依赖关系的建模，因为这些网络通常局限于全局、非局部的注意力模式。
• 在不引入额外可学习参数的前提下，实现自注意力机制中多个注意力头之间的交互。
• 在保持计算效率和参数效率的同时，提升自注意力网络的表征能力。
• 通过将局部归纳偏置整合到自注意力机制中，实现序列建模任务（尤其是神经机器翻译）的更好性能。

提出的方法

• 将卷积模块集成到自注意力机制中，以显式建模相邻标记之间的局部空间依赖关系。
• 修改缩放点积注意力机制，通过在查询、键和值表示上应用卷积操作，引入局部上下文信息。
• 通过允许不同头的特征图进行拼接并经过共享卷积层处理，实现多个注意力头之间的交互。
• 通过重用现有参数并避免增加额外的线性投影或注意力头，保持自注意力机制原有的参数数量。
• 应用深度可分离卷积，在捕捉注意力空间中的局部模式的同时保持计算效率。
• 采用残差连接结构以稳定训练并保持梯度在增强注意力模块中的流动。

实验结果

研究问题

• RQ1 是否可以有效将局部归纳偏置整合到自注意力网络中，而不会增加模型参数？
• RQ2 建模多个注意力头之间的交互如何提升序列建模任务的性能？
• RQ3 所提出的卷积自注意力机制是否在机器翻译基准测试中优于标准自注意力和现有增强局部性的变体？
• RQ4 卷积操作的集成在多大程度上改善了注意力机制中序列依赖关系的建模？

主要发现

• 所提出的CSAN模型在WMT14英德翻译任务上的表现优于标准Transformer基线模型。
• CSAN优于其他旨在提升自注意力网络局部性能力的现有方法，表明其在建模局部依赖关系方面具有更强的建模能力。
• 该模型的参数量与原始Transformer保持一致，表明性能提升未伴随架构参数的膨胀。
• 卷积操作的集成通过捕捉相邻标记之间的交互，增强了注意力模式，从而实现更连贯且上下文准确的预测。