[论文解读] Massive Activations in Large Language Models

Ming-Jie Sun, Xinlei Chen+2 more|arXiv (Cornell University)|Feb 27, 2024

Topic Modeling被引用 7

一句话总结

该论文在大型语言模型中发现极其罕见、极大激活，输入无关且充当固定偏置，集中注意力在特定令牌上，并可通过显式注意力偏置消除。它还在 Vision Transformers 中观察到类似现象。

ABSTRACT

We observe an empirical phenomenon in Large Language Models (LLMs) -- very few activations exhibit significantly larger values than others (e.g., 100,000 times larger). We call them massive activations. First, we demonstrate the widespread existence of massive activations across various LLMs and characterize their locations. Second, we find their values largely stay constant regardless of the input, and they function as indispensable bias terms in LLMs. Third, these massive activations lead to the concentration of attention probabilities to their corresponding tokens, and further, implicit bias terms in the self-attention output. Last, we also study massive activations in Vision Transformers. Code is available at https://github.com/locuslab/massive-activations.

研究动机与目标

• 识别并表征在各类 LLMs 与模型规模中的巨大激活。
• 确定这些激活在网络的哪些位置出现，以及它们相对于输入的表现。
• 理解巨大激活在自注意力与模型计算中的功能作用。
• 探索巨大激活是否能推广至 Vision Transformers，以及它们与寄存器标记之间的关系。

提出的方法

• 分析多个 LLM 的隐藏状态（例如 LLaMA2-7B/13B、Mixtral-8x7B）以定位幅度显著高于中位数的激活。
• 为巨大激活定义一个实用标准（幅值超过 100，约为中位数的 1000 倍）。
• 对已识别的激活进行干预，将其设为零或均值，以评估对困惑度和零-shot 任务的影响。
• 分解注意力输出，展示巨大激活如何使注意力偏向相关令牌。
• 为自注意力增加显式偏置项，以测试此类偏置是否能消除对巨大激活的需求。
• 将分析扩展到 Vision Transformers (ViTs)，以比较现象并将其与寄存器标记关联。

实验结果

研究问题

• RQ1 巨大激活是否存在于不同的 LLM 架构和尺寸中，它们出现在哪些位置？
• RQ2 这些激活的输入依赖性如何，它们是否充当固定偏置？
• RQ3 巨大激活如何影响自注意力模式以及对某些令牌的注意力集中？
• RQ4 显式注意力偏置是否可以取代对巨大激活在 LLMs 中的需求？
• RQ5 在 Vision Transformers 中是否出现类似的巨大激活，它们与寄存器标记有何关系？

主要发现

• 巨大激活在多个 LLM 中极其罕见但却广泛存在，幅度远超隐藏状态中位数数千倍。
• 在 LLaMA2-7B 中，两个固定特征维度 (1415, 2533) 和特定令牌（起始令牌和句点/换行）承载巨大激活；在 LLaMA2-13B 中，它们出现在两个固定特征维度 (2100, 4743) 的起始令牌处；在 Mixtral-8x7B 中，出现在两个固定特征维度 (2070, 3398) 的起始令牌、分隔符和某些词。
• 巨大激活表现为与输入无关的偏置项；禁用它们会灾难性地降低性能，而将它们设为均值基本不改变性能。
• 自注意力偏向具有巨大激活的令牌，实质上形成一个隐式注意力偏置，与正常的注意力更新相加。
• 通过显式偏置项增强注意力可以消除对巨大激活的需求，表明它们是在预训练阶段学习实现偏置的机制。
• 在 Vision Transformers 中，某些 ViTs（如 CLIP、DINOv2）存在作为固定偏置的巨大激活，通常与特定令牌或寄存器相关；MAE 未显示出此类激活。
• 在 ViTs 中显式固定寄存器特征可获得与原始模型相当的性能，表明寄存器功能类似于巨大的激活，作为学习得到的偏置。