[논문 리뷰] Massive Activations in Large Language Models

Ming-Jie Sun, Xinlei Chen외 2명|arXiv (Cornell University)|2024. 02. 27.

Topic Modeling인용 수 7

한 줄 요약

본 논문은 입력에 무관하게 작동하는 고정 바이어스로 작용하는 매우 크고 희귀한 활성화가 LLM에서 발견되며, 특정 토큰에 주의를 집중시키고 명시적 주의 바이어스로 제거될 수 있음을 보고한다. 또한 Vision Transformers에서도 유사한 현상을 관찰한다.

ABSTRACT

We observe an empirical phenomenon in Large Language Models (LLMs) -- very few activations exhibit significantly larger values than others (e.g., 100,000 times larger). We call them massive activations. First, we demonstrate the widespread existence of massive activations across various LLMs and characterize their locations. Second, we find their values largely stay constant regardless of the input, and they function as indispensable bias terms in LLMs. Third, these massive activations lead to the concentration of attention probabilities to their corresponding tokens, and further, implicit bias terms in the self-attention output. Last, we also study massive activations in Vision Transformers. Code is available at https://github.com/locuslab/massive-activations.

연구 동기 및 목표

• 다양한 LLM 및 모델 크기에 걸친 대규모 활성화를 식별하고 특성화한다.
• 네트워크의 어느 위치에서 이러한 활성화가 발생하는지와 입력에 대해 어떻게 작용하는지 결정한다.
• 셀프 어텐션과 모델 계산에서 대규모 활성화의 기능적 역할을 이해한다.
• 대규모 활성화가 Vision Transformers로 일반화되는지와 그것이 register tokens와 어떤 관련이 있는지 탐구한다.

제안 방법

• 여러 LLM(LLaMA2-7B/13B, Mixtral-8x7B 등)의 은닉 상태를 분석하여 중앙값을 훨씬 넘는 크기의 활성화를 찾아낸다.
• 대규모 활성화에 대한 실용적 기준을 정의한다(크기가 100을 초과하고 중앙값의 약 1000배에 해당).
• 식별된 활성화에 개입해 0으로 설정하거나 평균값으로 설정하여 perplexity와 제로샷 작업에 미치는 영향을 평가한다.
• 어텐션 출력을 분해하여 대규모 활성화가 어떻게 연관 토큰에 대한 어텐션 편향을 만드는지 보여준다.
• 셀프 어텐션에 명시적 바이어스 항을 추가하여 이러한 바이어스가 대규모 활성화의 필요성을 제거하는지 테스트한다.
• 현상 비교를 위해 Vision Transformers(ViTs)로 분석을 확장하고 register tokens와의 관련성을 연구한다.

실험 결과

연구 질문

• RQ1 다양한 LLM 아키텍처와 크기에서 대규모 활성화가 존재하며 어디에서 발생하는가?
• RQ2 이러한 활성화의 입력 의존성은 무엇이며 고정 바이어스 역할을 하는가?
• RQ3 대규모 활성화가 셀프 어텐션 패턴과 특정 토큰에 대한 어텐션 집중도에 어떤 영향을 미치는가?
• RQ4 명시적 어텐션 바이어스가 LLM에서 대규모 활성화의 필요성을 대체할 수 있는가?
• RQ5 Vision Transformers에서도 유사한 대규모 활성화가 나타나는가, 그리고 그것이 register tokens와 어떤 관련이 있는가?

주요 결과

• 대규모 활성화는 매우 드물면서도 여러 LLM에 걸쳐 광범위하게 존재하며, 은닉 상태의 중앙값보다 수천 배 큰 크기를 갖는다.
• LLaMA2-7B에서는 두 개의 고정 특성 차원(1415, 2533)과 특정 토큰(시작 토큰 및 마침표/줄바꿈)에서 대규모 활성화가 나타내며; LLaMA2-13B에서는 시작 토큰 위치의 두 고정 특성 차원(2100, 4743)에서 발생하고; Mixtral-8x7B에서는 시작 토큰, 구분자, 특정 단어에서 두 고정 특성 차원(2070, 3398)에서 발생한다.
• 대규모 활성화는 입력 무관 바이어스 항으로 작동하며, 이를 비활성화하면 성능이 재앙적으로 저하되고, 평균값으로 설정하면 성능은 크게 변하지 않는다.
• 셀프 어텐션은 대규모 활성화를 가진 토큰 쪽으로 편향되며, 정상 어텐션 업데이트에 더해지는 암묵적 어텐션 바이어스를 형성한다.
• 어텐션에 명시적 바이어스 항을 추가하면 대규모 활성화의 필요성을 제거할 수 있어, 이것들이 사전 학습 중 바이어스를 구현하는 학습된 메커니즘임을 시사한다.
• Vision Transformers에서 대규모 활성화는 일부 ViTs(예: CLIP, DINOv2)에서 고정 바이어스로 존재하며, 종종 특정 토큰이나 레지스터와 연관된다; MAE는 이러한 활성화를 보이지 않는다.
• ViTs에서 레지스터 특징을 명시적으로 고정하면 원래와 비슷한 성능이 나오며, 레지스터가 대규모 활성화와 유사한 학습된 바이어스로 작용함을 시사한다.