[論文レビュー] Massive Activations in Large Language Models

Ming-Jie Sun, Xinlei Chen+2 more|arXiv (Cornell University)|Feb 27, 2024

Topic Modeling被引用数 7

ひとこと要約

要約: 論文は、入力量に依存しない非常に大きな活性化をLLMで発見し、それらが固定バイアスとして機能し、特定のトークンに注意を集中させ、明示的な注意バイアスによって除去可能であることを示す。 Vision Transformers にも同様の現象が観察される。

ABSTRACT

We observe an empirical phenomenon in Large Language Models (LLMs) -- very few activations exhibit significantly larger values than others (e.g., 100,000 times larger). We call them massive activations. First, we demonstrate the widespread existence of massive activations across various LLMs and characterize their locations. Second, we find their values largely stay constant regardless of the input, and they function as indispensable bias terms in LLMs. Third, these massive activations lead to the concentration of attention probabilities to their corresponding tokens, and further, implicit bias terms in the self-attention output. Last, we also study massive activations in Vision Transformers. Code is available at https://github.com/locuslab/massive-activations.

研究の動機と目的

• さまざまな LLM およびモデルサイズ全体で巨大な activations を識別・特徴付ける。
• ネットワークのどこでこれらの activations が発生し、入力に対してどのように振る舞うかを決定する。
• 自己注意とモデル計算における巨大な activations の機能的役割を理解する。
• 巨大な activations が Vision Transformers に一般化するかどうかと、それらと登録トークンとの関係を探る。

提案手法

• 複数の LLM（例：LLaMA2-7B/13B、Mixtral-8x7B）における隠れ状態を分析し、中央値を大きく上回る activations を特定する。
• 巨大な activations の実用的な基準を定義する（大きさが100を上回り、中央値の約1000倍に相当）。
• 特定された activations をゼロまたは平均値に設定して、困惑度（perplexity）とゼロショットタスクへの影響を評価する。
• 巨大な activations がどのように attention を関連するトークンへ biased させるかを示すため、注意出力を分解する。
• explicit bias terms を用いて self-attention を補強し、巨大な activations の必要性を排除できるかを検証する。
• ViTs へ分析を拡張し、現象を比較し、登録トークンと結びつけて解釈する。

実験結果

リサーチクエスチョン

• RQ1 異なる LLM アーキテクチャとサイズ全体で巨大な activations は存在するか、どこで発生するか？
• RQ2 これらの activations の入力依存性はどうか、固定バイアスとして機能するか？
• RQ3 巨大な activations は自己注意のパターンと特定のトークンへの注意の集中にどのような影響を与えるか？
• RQ4 Explicit な注意バイアス は LLM における巨大な activations の必要性を置換できるか？
• RQ5 Vision Transformers でも同様の巨大な activations は現れ、登録トークンとどう関係するか？

主な発見

• 巨大な activations は非常に稀である一方で、複数の LLM にわたって広く見られ、隠れ状態の中央値の数千倍の大きさを示す。
• LLaMA2-7B では、2 つの固定機能次元（1415, 2533）と特定のトークン（starting token と period/newline）で巨大な activations が存在する。LLaMA2-13B では開始トークンで 2 つの固定機能次元（2100, 4743）に発生。Mixtral-8x7B では開始トークン、区切り文字、特定の語において 2 つの固定機能次元（2070, 3398）に発生。
• 巨大な activations は入力非依存のバイアス項として振る舞い；それらを無効化すると性能が壊滅的に低下する一方、平均値に設定しても性能はほぼ変わらない。
• 自己注意は巨大な activations を持つトークンへ biased となり、通常の注意更新に加算的な暗黙的注意バイアスを形成する。
• 注意に explicit bias terms を加えると巨大な activations の必要性を排除できる可能性があり、事前学習中にバイアスを実装するための learned な機構であることを示唆する。
• Vision Transformers では、CLIP、DINOv2 など一部の ViT において巨大な activations が固定バイアスとして存在し、しばしば特定のトークンや register に関連付けられている；MAE にはそのような activations は見られない。
• ViTs で登録機能を explicit に固定すると、元の性能と同等の性能が得られ、登録機能は巨大な activations に似た learned バイアスとして機能することを示唆する。