[论文解读] Capsule-Transformer for Neural Machine Translation

Sufeng Duan, Juncheng Cao+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出胶囊-Transformer，一种新型架构，通过用胶囊路由算法替代Transformer中多头自注意力机制的线性变换，推广了该机制，实现了通过分层注意力聚合的更丰富的上下文表征。在神经机器翻译基准上的实验表明，该方法在不显著增加参数量的情况下，相比强大的Transformer基线模型取得了显著的性能提升。

ABSTRACT

Transformer hugely benefits from its key design of the multi-head self-attention network (SAN), which extracts information from various perspectives through transforming the given input into different subspaces. However, its simple linear transformation aggregation strategy may still potentially fail to fully capture deeper contextualized information. In this paper, we thus propose the capsule-Transformer, which extends the linear transformation into a more general capsule routing algorithm by taking SAN as a special case of capsule network. So that the resulted capsule-Transformer is capable of obtaining a better attention distribution representation of the input sequence via information aggregation among different heads and words. Specifically, we see groups of attention weights in SAN as low layer capsules. By applying the iterative capsule routing algorithm they can be further aggregated into high layer capsules which contain deeper contextualized information. Experimental results on the widely-used machine translation datasets show our proposed capsule-Transformer outperforms strong Transformer baseline significantly.

研究动机与目标

• 为解决标准多头自注意力机制在依赖简单线性变换时，难以捕捉更深层次上下文表征的局限性。
• 将胶囊网络原理整合到自注意力机制中，以实现在注意力头和标记之间进行动态、分层的信息聚合。
• 在不显著增加模型复杂度或参数量的前提下，提升Transformer的表征能力。
• 探究胶囊路由是否能改善序列建模任务（如神经机器翻译）中的注意力分布学习。

提出的方法

• 将来自不同注意力头的注意力权重视为低级胶囊，每个胶囊编码初步的语言学特征。
• 通过迭代应用胶囊路由算法，将这些低级胶囊聚合为能捕捉更丰富上下文化、组合性表征的高级胶囊。
• 路由机制动态确定每个注意力头对最终表征的贡献重要性，替代标准自注意力中的固定线性投影。
• 将所提出的胶囊注意力机制集成到Transformer的编码器和解码器中，取代标准的多头注意力模块。
• 路由过程采用基于注意力的动态路由权重，使模型能够学习哪些注意力模式对高层表征最为相关。
• 该架构保持了原始Transformer的高效性，并以极少量额外参数进行端到端训练。

实验结果

研究问题

• RQ1 胶囊路由能否通过实现注意力头的分层聚合，提升自注意力的表征质量？
• RQ2 用胶囊路由替代自注意力中的线性变换，是否能带来序列建模中更优的上下文化表征？
• RQ3 胶囊-Transformer能否在神经机器翻译任务上超越标准Transformer的性能？
• RQ4 性能提升是源于注意力分布学习的改善，而非模型容量的增加？

主要发现

• 胶囊-Transformer在标准神经机器翻译基准上优于强大的基线Transformer模型，表现出一致且显著的性能提升。
• 该模型以极小的参数增加实现了更优性能，表明性能提升源于架构改进而非容量扩展。
• 胶囊路由机制通过在头和标记之间聚合信息，使注意力分布更加连贯且更具上下文感知性。
• 消融实验确认，路由机制对性能有显著贡献，移除后性能显著下降。
• 所提方法泛化能力良好，表明其在其他基于Transformer的NLP任务中具有广泛应用潜力。