[論文レビュー] How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective

Runyu Peng, Renzhi Li+4 more|arXiv (Cornell University)|Feb 4, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

要約: 本論文は、位置ゼロのトークンに安定した高ノルム表現を与え、LLMにおけるアテンション・シンクを引き起こす単純な二層P0-Sink回路を特定し、事前訓練中の出現を追跡する。

ABSTRACT

Large Language Models (LLMs) often allocate disproportionate attention to specific tokens, a phenomenon commonly referred to as the attention sink. While such sinks are generally considered detrimental, prior studies have identified a notable exception: the model's consistent emphasis on the first token of the input sequence. This structural bias can influence a wide range of downstream applications and warrants careful consideration. Despite its prevalence, the precise mechanisms underlying the emergence and persistence of attention sinks remain poorly understood. In this work, we trace the formation of attention sinks around the first token of the input. We identify a simple mechanism, referred to as the P0 Sink Circuit, that enables the model to recognize token at position zero and induce an attention sink within two transformer blocks, without relying on any semantic information. This mechanism serves as the basis for the attention sink on position zero. Furthermore, by analyzing training traces from a 30B A3B MoE model trained from scratch, we find that this mechanism emerges early in training and becomes increasingly concentrated in the first two layers, suggesting a possible signal for tracking pre training convergence states.

研究の動機と目的

• 大規模言語モデルにおける位置ゼロのアテンション・シンクが出現する理由を調査する。
• BOSトークンがP0シンクを駆動するのか、それともより深いアーキテクチャ機構が存在するのかを判断する。
• 位置ゼロを識別し、その表現を増幅する単純な回路を提案・検証する。
• 事前学習中およびモデル層全体でP0-Sink回路の形成と安定化を追跡する。
• シンクダイナミクスを事前学習の収束状況や訓練段階の指標としての潜在的な利用を評価する。

提案手法

• P0-Sink回路を、因果的マスキングの非対称性を活用した二層トランスフォーマ機構として導入する。
• BOS意味論に依存せず、位置ゼロを識別し高ノルムの固定表現へと増幅できることを示す。
• BOS意味論依存性を検証するため、BOSを除去するアブレーションを実施する。
• コーンベースの値-ベクトル構成とヘッド間の一様平均化を用いたアテンション出力ノルムの理論モデルを提供する。
• 30B-A3B MoEモデルからの訓練トレースを経験的に分析し、P0-Sink回路の出現と層間統合を追跡する。
• 前層正規化とMLP増幅がP0表現を安定化させる方法を検討する。

実験結果

リサーチクエスチョン

• RQ1 LLMsにおける位置ゼロのアテンション・シンクの出現メカニズムは何か。
• RQ2 P0シンクにBOSトークンは必須か、それともBOS独立の回路が存在するのか。
• RQ3 事前学習中にP0-Sink回路はどのように形成・層を超えて集中するのか。
• RQ4 P0-Sinkを訓練段階や収束の診断指標として利用できるか。

主な発見

• 単純なP0-Sink回路が存在：因果マスキングの非対称性を利用して位置ゼロを識別し、隠れ状態を高ノルムの固定方向へ増幅する二層機構。
• P0シンクはBOSを除去しても残存するため、BOS意味論のみには依存しない。
• P0-Sink回路は事前学習の初期段階で現れ、最初は深い層に現れ、その後最初の2層に集中し、後に初期層のシンクへと移行する。
• MLPサブレイヤーはノルム増幅と方向プロジェクションに寄与し、層を超えて安定したP0表現を可能にする。
• 相対位置エンコーディング/ロータリーポジショニング下でも、P0シンクは分布外の摂動やトークン繰り返しに対して頑健で、BOS依存機構を支持する。
• 発見は潜在的な診断的用途を示唆：シンク段階は事前学習の収束状況と訓練の進行を示す指標となり得る。