[论文解读] Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers

Vukasin Bozic, Danilo Dordevic+3 more|arXiv (Cornell University)|Nov 17, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出用通过知识蒸馏训练的浅层前馈神经网络替代Transformer中的注意力机制，证明此类'无注意力Transformer'可在IWSLT2017翻译任务上达到与原始模型相当的性能。关键发现是自注意力可被有效模拟，但跨注意力由于其复杂的序列交互作用，仍是重大挑战。

ABSTRACT

This work presents an analysis of the effectiveness of using standard shallow feed-forward networks to mimic the behavior of the attention mechanism in the original Transformer model, a state-of-the-art architecture for sequence-to-sequence tasks. We substitute key elements of the attention mechanism in the Transformer with simple feed-forward networks, trained using the original components via knowledge distillation. Our experiments, conducted on the IWSLT2017 dataset, reveal the capacity of these "attentionless Transformers" to rival the performance of the original architecture. Through rigorous ablation studies, and experimenting with various replacement network types and sizes, we offer insights that support the viability of our approach. This not only sheds light on the adaptability of shallow feed-forward networks in emulating attention mechanisms but also underscores their potential to streamline complex architectures for sequence-to-sequence tasks.

研究动机与目标

• 探究浅层前馈网络是否能有效模拟Transformer中自注意力与跨注意力机制的行为。
• 评估在不牺牲性能的前提下，用更简单、参数高效的前馈网络替换注意力模块的可行性。
• 识别阻止无注意力Transformer端到端训练的架构与训练约束。
• 通过BLEU分数评估网络规模与替换策略对翻译质量的影响。

提出的方法

• 使用知识蒸馏训练浅层前馈网络，以模仿原始Transformer注意力层的中间激活。
• 评估四种不同的替换策略：注意力层替换（ALR）、带残差连接的注意力层替换（ALRR）、注意力独立头层替换（ASLR）以及编码器层替换（ELR）。
• 将相同的替换方法扩展至解码器的自注意力与跨注意力，采用适配不同注意力类型的架构。
• 在IWSLT2017数据集上，针对五种网络规模（XS至L）进行实验，BLEU分数作为主要评估指标。
• 原始Transformer作为教师模型，提供软标签与中间特征用于蒸馏。
• 在多个语言翻译任务（E2G、G2E、E2F、F2E）上进行消融研究，以评估模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 浅层前馈网络能否有效学习并复制Transformer中自注意力机制的行为？
• RQ2 用前馈网络替换注意力是否会降低翻译性能，若会，其条件是什么？
• RQ3 为何在解码器中，跨注意力比自注意力更难被替换？
• RQ4 知识蒸馏能否实现与原始模型性能相当的无注意力Transformer训练？
• RQ5 网络规模与替换策略对模型效率与准确率的影响如何？

主要发现

• ALR方法在性能与参数效率之间取得了最佳平衡，最大模型（L）在E2G任务上达到0.252 BLEU，与原始Transformer的0.257非常接近。
• 通过ALR实现的自注意力替换在所有数据集上均表现良好，L尺寸模型在G2E（0.327 vs. 0.324）与E2F（0.276 vs. 0.276）任务上优于基线。
• 跨注意力替换始终导致显著性能下降，最大模型（L）在G2E任务上仅达到0.134 BLEU，远低于基线。
• ASLR方法在编码器自注意力替换中实现了接近基线的性能（E2G任务上为0.252 BLEU），表明按头替换是可行的。
• 完全替换所有注意力机制（包括跨注意力）导致最差性能，L尺寸模型在E2G任务上BLEU降至0.105。
• ALRR与ELR方法表现较差，尤其在大模型上，表明残差连接与完整层替换会破坏训练动态。