[논문 리뷰] A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training

Zihan Qiu, Zeyu Huang외 17명|arXiv (Cornell University)|2026. 01. 30.

Neurobiology of Language and Bilingualism인용 수 0

한 줄 요약

논문은 주의(attention)와 잔여 흐름(residual streams)에서의 급격한 이상치가 정규화에 의해 다른 구성요소를 재스케일링하고, GatedNorm이라는 게이팅 기반 재스케일링을 도입해 훈련 안정성 및 양자화 강인성을 개선하면서 잔류 싱크(residual sinks)를 완화한다고 주장한다.

ABSTRACT

We investigate the functional role of emergent outliers in large language models, specifically attention sinks (a few tokens that consistently receive large attention logits) and residual sinks (a few fixed dimensions with persistently large activations across most tokens). We hypothesize that these outliers, in conjunction with the corresponding normalizations ( extit{e.g.}, softmax attention and RMSNorm), effectively rescale other non-outlier components. We term this phenomenon extit{outlier-driven rescaling} and validate this hypothesis across different model architectures and training token counts. This view unifies the origin and mitigation of both sink types. Our main conclusions and observations include: (1) Outliers function jointly with normalization: removing normalization eliminates the corresponding outliers but degrades training stability and performance; directly clipping outliers while retaining normalization leads to degradation, indicating that outlier-driven rescaling contributes to training stability. (2) Outliers serve more as rescale factors rather than contributors, as the final contributions of attention and residual sinks are significantly smaller than those of non-outliers. (3) Outliers can be absorbed into learnable parameters or mitigated via explicit gated rescaling, leading to improved training performance (average gain of 2 points) and enhanced quantization robustness (1.2 points degradation under W4A4 quantization).

연구 동기 및 목표

• 대형 언어 모델에서 주의 싱크와 잔여 싱크의 기능적 역할을 조사한다.
• 이상치가 정규화와 상호 작용하여 비이상치 구성요소를 재스케일링하는지 입증한다.
• 정규화를 제거하거나 이상치를 나이브하게 클리핑하는 것이 훈련 안정성 및 성능에 악영향을 미친다는 점을 보여준다.
• 이상치 주도 재스케일링을 보존하거나 대체하여 훈련 및 양자화를 개선하는 완화 전략을 제안하고 평가한다.

제안 방법

• 여러 모델과 토큰 수에서 주의 로짓(attention logits)과 잔류 활성화(residual activations)의 이상치 패턴을 분석한다.
• 이상치 주도 재스케일링의 개념을 이상치와 정규화(소프트맥스 주의, RMSNorm)의 상호 작용으로 형식화한다.
• 정규화를 제거하거나 이상치를 클리핑하거나 활성화 함수를 변화시키는 실험으로 안정성과 성능을 평가한다.
• 정규화 전에 학습 가능한 매개변수로 이상치를 흡수하는 PreAffine RMSNorm을 도입한다.
• 정규화 후에 명시적 게이팅 메커니즘을 도입하는 GatedNorm을 제안하여 재스케일링을 가능하게 하면서 이상치를 줄이고 양자화 강인성을 개선한다.

실험 결과

연구 질문

• RQ1 주요하게 주의 흐름과 잔류 흐름의 이상치가 출력에 직접 기여하기보다는 재스케일링 인자로 작용하는가?
• RQ2 이상치 주도 재스케일링이 안정적인 훈련에 필수적인가? 이를 보존하거나 교체하더라도 성능이 저하되지 않는가?
• RQ3 명시적 재스케일링 메커니즘(예: 게이팅)이 잔류 싱크를 완화하고 양자화 및 아키텍처 선택에 대한 강건성을 향상시키는가?
• RQ4 다른 정규화 및 주의 변형(소프트맥스, 선형, 게이팅)이 싱크 형성 및 학습 안정성에 어떤 영향을 미치는가?
• RQ5 이상치를 매개변수에 흡수해 기능 손실 없이 모델 용량과 배포에 대한 trade-off를 얻을 수 있는가?

주요 결과

• 이상치는 정규화와 상호 작용하여 재스케일링을 수행하며, 정규화를 제거하면 안정성과 성능이 저하된다.
• 이상치는 주로 재스케일링 인자로 작용하며, 출력에 대한 최종 기여는 비이상치보다 작다.
• 이상치는 학습 가능한 매개변수로 흡수되거나 명시적인 게이팅 재스케일링으로 완화되어 훈련 및 양자화 강인성을 개선한다.
• GatedNorm은 잔류 싱크를 감소시키고 성능을 유지하거나 향상시키며 FP4 설정에서 양자화에 대한 강건성이 더 좋게 나타난다.
• 게이팅을 통한 명시적 재스케일링은 이상치 의존성을 줄여 아키텍처 선택에 대한 민감도를 낮추고 활성화 및 아키텍처 전반에서 더 나은 강건성을 가능하게 한다.