[论文解读] Adaptively Sparse Transformers

Gonçalo M. Correia, Vlad Niculae+1 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 35被引用 19

一句话总结

本文提出自适应稀疏注意力机制，用可学习的 α -entmax 替代标准 softmax 注意力，以在注意力头中实现动态、上下文相关的稀疏性。通过为每个头自动学习 α 参数，模型在不损失准确率的前提下，提升了可解释性与头的多样性，深层注意力头倾向于采用更密集的注意模式，而专业化行为也自然涌现。

ABSTRACT

Attention mechanisms have become ubiquitous in NLP. Recent architectures, notably the Transformer, learn powerful context-aware word representations through layered, multi-headed attention. The multiple heads learn diverse types of word relationships. However, with standard softmax attention, all attention heads are dense, assigning a non-zero weight to all context words. In this work, we introduce the adaptively sparse Transformer, wherein attention heads have flexible, context-dependent sparsity patterns. This sparsity is accomplished by replacing softmax with $α$-entmax: a differentiable generalization of softmax that allows low-scoring words to receive precisely zero weight. Moreover, we derive a method to automatically learn the $α$ parameter -- which controls the shape and sparsity of $α$-entmax -- allowing attention heads to choose between focused or spread-out behavior. Our adaptively sparse Transformer improves interpretability and head diversity when compared to softmax Transformers on machine translation datasets. Findings of the quantitative and qualitative analysis of our approach include that heads in different layers learn different sparsity preferences and tend to be more diverse in their attention distributions than softmax Transformers. Furthermore, at no cost in accuracy, sparsity in attention heads helps to uncover different head specializations.

研究动机与目标

• 为解决标准 softmax 注意力机制中所有注意力头均为密集连接、对所有上下文词分配非零权重，导致可解释性不足与头专业化缺失的问题。
• 使注意力头能够根据上下文动态选择聚焦（稀疏）或广泛（密集）的注意模式，提升模型可解释性。
• 开发一种可微、可学习的机制，用于控制注意力稀疏性，实现按头和按上下文的自适应调节，避免手动超参数调优。
• 通过实证验证，自适应稀疏性可提升序列建模任务（如机器翻译）中头的专业化与可解释性。
• 证明稀疏性可被引入而不会造成性能下降，保持或略微提升准确率。

提出的方法

• 用 α -entmax 替代标准 softmax 注意力，α -entmax 是 softmax 的可微推广，可对低分标记产生精确的零注意力权重。
• 为每个注意力头引入可学习的 α 参数，控制注意力分布的曲率与稀疏性，实现密集与稀疏模式之间的动态适应。
• 使用基于梯度的优化方法联合训练模型与 α 参数，消除对手动超参数搜索的需求。
• 在前向与反向传播中均使用二分法高效计算 α -entmax，确保可微性与可扩展性。
• 在标准 Transformer 架构上端到端训练模型，用于机器翻译任务，使注意力头自动学习多样化的稀疏模式。
• 分析各层与各头的注意力分布，识别专业化模式与可解释性提升。

实验结果

研究问题

• RQ1 可学习的、自适应的注意力稀疏性是否能在不损失性能的前提下，提升 Transformer 模型的可解释性？
• RQ2 Transformer 不同层中的注意力头是否学习到不同的稀疏偏好？若有，这些偏好与模型深度之间有何关联？
• RQ3 与标准 softmax 注意力相比，自适应 α -entmax 注意力是否能带来更丰富多样的头行为？
• RQ4 与固定稀疏性或固定 α 设置相比，每个头自动学习 α 参数是否能实现更好的头专业化？
• RQ5 动态稀疏模式是否能实现非连续且上下文依赖的模式，而非固定跨度稀疏 Transformer 所采用的模式？

主要发现

• 在自适应稀疏 Transformer 中，深层注意力头的平均稀疏性低于浅层头，与自适应跨度 Transformer 的发现一致。
• 与标准 softmax Transformer 相比，该模型在机器翻译任务中达到相当或略优的准确率，稀疏性未造成性能损失。
• 注意力头在注意力分布上表现出更高的多样性，各头自然涌现出不同的稀疏模式。
• 模型揭示了更清晰、更具可解释性的头行为，如位置注意力与子词连接，其定义比基于 softmax 的模型更明确。
• 稀疏性有助于更清晰地识别头的专业化，如聚焦句法依赖关系或罕见词的头，注意力模式中的歧义显著减少。
• α 参数的自动学习使头能够根据上下文动态调整其注意力形状——从尖峰型到平坦型——从而增强模型表达能力。