[论文解读] How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective

Runyu Peng, Renzhi Li+4 more|arXiv (Cornell University)|Feb 4, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

该论文识别出一个简单的两层 P0-Sink 电路，使位置零标记获得稳定的高范数表示，从而在大语言模型中产生注意力汇聚，并在预训练过程中跟踪其出现过程。

ABSTRACT

Large Language Models (LLMs) often allocate disproportionate attention to specific tokens, a phenomenon commonly referred to as the attention sink. While such sinks are generally considered detrimental, prior studies have identified a notable exception: the model's consistent emphasis on the first token of the input sequence. This structural bias can influence a wide range of downstream applications and warrants careful consideration. Despite its prevalence, the precise mechanisms underlying the emergence and persistence of attention sinks remain poorly understood. In this work, we trace the formation of attention sinks around the first token of the input. We identify a simple mechanism, referred to as the P0 Sink Circuit, that enables the model to recognize token at position zero and induce an attention sink within two transformer blocks, without relying on any semantic information. This mechanism serves as the basis for the attention sink on position zero. Furthermore, by analyzing training traces from a 30B A3B MoE model trained from scratch, we find that this mechanism emerges early in training and becomes increasingly concentrated in the first two layers, suggesting a possible signal for tracking pre training convergence states.

研究动机与目标

• 研究为什么在大语言模型中会出现位置零注意力汇聚。
• 确定 BOS 标记是否驱动 P0 汇聚，还是存在更深层的架构机制。
• 提出并验证一个简单的电路，用于识别位置零并放大其表示。
• 追踪 P0-Sink Circuit 在预训练和跨模型层级中的形成与稳定化。
• 评估汇聚动态作为预训练收敛与训练阶段指示器的潜在用途。

提出的方法

• 将 P0-Sink 电路作为两层变换器机制引入，利用因果注意力屏蔽的不对称性。
• 表明位置零可以被识别并放大为一个高范数的固定表示，而不依赖于 BOS 语义。
• 通过消除 BOS 的消融研究来测试对 BOS 语义的依赖性。
• 给出一个注意力输出范数的理论模型，使用基于圆锥的值向量构造和跨头的均匀平均。
• 对一个 30B-A3B MoE 模型的训练轨迹进行经验分析，以跟踪 P0-Sink Circuit 在各层的出现与巩固。
• 考察前层归一化和 MLP 放大如何稳定 P0 表示。

实验结果

研究问题

• RQ1 是什么机制促成了 LLMs 中位置零注意力汇聚的出现？
• RQ2 BOS 标记对 P0 汇聚是否必不可少，还是存在与 BOS 无关的电路？
• RQ3 P0-Sink Circuit 如何在预训练中形成并在各层集中？
• RQ4 P0-Sink 是否可用作训练阶段或收敛性的诊断信号？

主要发现

• 存在一个简单的 P0-Sink 电路：一个利用因果屏蔽不对称性的两层机制，识别位置零并将其隐藏状态放大为一个高范数的固定方向。
• 即使移除 BOS，P0 汇聚仍然存在，表明其并非仅由 BOS 语义驱动。
• P0-Sink Circuit 在预训练早期就显现，最初在较深的层出现，随后集中在前两层，之后转向更广的前层汇聚。
• MLP 子层有助于范数放大和方向投射，使 P0 表示在各层中保持稳定。
• 在相对/旋转位置编码下，P0 汇聚对分布外扰动和标记重复保持鲁棒，支持 BOS 无依赖机制。
• 研究表明该汇聚阶段具有潜在诊断用途：可作为预训练收敛状态与训练进展的指示。