[论文解读] Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps

Goro Kobayashi, Tatsuki Kuribayashi+2 more|arXiv (Cornell University)|Feb 1, 2023

Neurobiology of Language and Bilingualism被引用 7

一句话总结

本文提出了一种基于注意力图的新方法，用于可视化和分析Transformer中前馈（FF）模块对输入上下文表示的影响，揭示了FF网络会增强特定语言构成，如子词到词以及多词表达。关键发现表明，FF模块显著重塑了注意力模式，而残差连接与归一化层则抑制了其影响，暗示Transformer内部处理存在冗余性。

ABSTRACT

Transformers are ubiquitous in wide tasks. Interpreting their internals is a pivotal goal. Nevertheless, their particular components, feed-forward (FF) blocks, have typically been less analyzed despite their substantial parameter amounts. We analyze the input contextualization effects of FF blocks by rendering them in the attention maps as a human-friendly visualization scheme. Our experiments with both masked- and causal-language models reveal that FF networks modify the input contextualization to emphasize specific types of linguistic compositions. In addition, FF and its surrounding components tend to cancel out each other's effects, suggesting potential redundancy in the processing of the Transformer layer.

研究动机与目标

• 为解决尽管前馈（FF）模块在参数量上占比较大且在模型性能中起关键作用，但其可解释性仍严重不足的问题。
• 研究FF模块如何影响输入上下文表示，特别是与语言构成及标记间关系的关系。
• 开发一种可视化方法，捕捉FF模块对注意力图的影响，超越标准注意力机制的范围。
• 考察FF模块与其周围组件（残差连接与归一化层）之间的相互作用，以揭示其对中间表征的塑造机制。
• 通过分析FF模块的影响，为架构冗余性提供洞见，并探索潜在的模型剪枝机会。

提出的方法

• 将基于范数的归因方法（Kobayashi et al., 2021）扩展至捕捉FF模块的输入上下文表示效应，通过引入输入幅值的向量范数实现。
• 部分应用积分梯度法以处理FF网络中的非线性，实现在无需反向传播的情况下获得类似梯度的归因结果。
• 通过结合FF模块输出范数与残差连接及归一化层的动力学特性，计算反映FF模块影响的注意力图。
• 仅使用前向传播，避免反向传播，同时保持可解释性与计算效率。
• 可视化FF模块对标记间注意力模式的影响，重点关注各层中上下文表示的变化。
• 对掩码型（如BERT）与因果型（如GPT-2）语言模型进行逐层分析，比较不同架构下的影响差异。

实验结果

研究问题

• RQ1 FF模块在注意力图中如何改变Transformer中的输入上下文表示？
• RQ2 在不同模型架构中，FF模块对哪些类型的语言构成产生增强或抑制作用？
• RQ3 残差连接与归一化层在多大程度上抵消了同一层中FF模块的影响？
• RQ4 FF模块的行为在不同模型规模与训练随机种子下是否存在一致的模式？
• RQ5 能否通过基于范数与积分梯度的技术可靠地可视化和归因FF模块对注意力图的影响？

主要发现

• 当FF模块的输出被修改或掩码时，注意力图模式出现显著变化，表明FF模块显著改变了输入上下文表示。
• 特定语言构成——尤其是子词到词以及多词表达结构——在BERT与GPT-2模型中均被FF模块一致增强。
• 残差连接与归一化层倾向于抑制FF模块的影响，表明Transformer层内部处理存在某种形式的冗余性。
• FF输出向量的幅值与注意力图变化强相关，尤其是在深层网络中，表明FF输出范数是上下文表示转变的关键驱动因素。
• 层归一化（LN）权重与FF模块输入/输出向量范数表现出强相关性，表明LN在调节FF影响方面起着核心作用。
• 在多种模型变体（如不同种子与尺寸的BERT-base）上的实验验证了FF效应的一致性，支持所观察到模式在架构与训练差异下的稳健性。