[論文レビュー] Towards Understanding Steering Strength

Magamed Taimeskhanov, Samuel Vaiter+1 more|arXiv (Cornell University)|Feb 2, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

本論文は、LLMにおける活性化ステアリングのステアリング強度の理論分析を提供し、ステアリングの大きさが次トークン確率、概念の存在、およびクロスエントロピーへどのように影響するかを示し、理論的成果と複数モデルにわたる実証検証を行う。

ABSTRACT

A popular approach to post-training control of large language models (LLMs) is the steering of intermediate latent representations. Namely, identify a well-chosen direction depending on the task at hand and perturbs representations along this direction at inference time. While many propositions exist to pick this direction, considerably less is understood about how to choose the magnitude of the move, whereas its importance is clear: too little and the intended behavior does not emerge, too much and the model's performance degrades beyond repair. In this work, we propose the first theoretical analysis of steering strength. We characterize its effect on next token probability, presence of a concept, and cross-entropy, deriving precise qualitative laws governing these quantities. Our analysis reveals surprising behaviors, including non-monotonic effects of steering strength. We validate our theoretical predictions empirically on eleven language models, ranging from a small GPT architecture to modern models.

研究の動機と目的

• steering strength alpha が次-token予測におけるステアリング効果と歪みのトレードオフをどのように制御するかを調査する。
• この枠組みを用いて、ステアリングが次-token確率、概念の存在、クロスエントロピーに及ぼす影響を特徴づける理論的枠組みを構築する。
• 実用的なLLMコントロールのためのステアリング強度の適応的または最適な調整に関する洞察を提供する。
• 理論的予測と、さまざまな言語モデルでの実証検証を結び付ける。
• 差の平均ベクトル（difference-of-means steering vector）が概念焦点のプロンプトとどのように相互作用するかを明らかにする。

提案手法

• ステアリングベクトル v を平均文脈埋め込みの差として定義する、単純化されたUnconstrained Features Model (UFM) を用いてステアリングを解析的に研究する。
• この枠組みで次トークン確率、概念確率、クロスエントロピーを定義し、ステアリング強度 alpha への依存を導出する。
• 完璧に訓練された訓練分布と概念サブセットが分離したデータセットを含む、ステアリング効果を isolating する仮定を導入する。
• ステアリング下でのトークンレベルおよび概念レベルの量の変化（対数オッズや確率変化を含む）を分析する。
• クロスエントロピーの大きな alpha 極限と、パフォーマンス劣化を理解するための局所的な二次近似を提供する。
• 11 の言語モデル（小型の GPT 風モデルから現代的なLLMまで）を対象とした実証実験で理論結果を検証する。

Figure 3 : Next-token probability increases $\Delta p(\alpha)$ for a fixed context. Each curve corresponds to a token $z$ : target tokens $\mathcal{T}$ are in blue and off-target tokens in orange . Most target tokens exhibit a “bump” (peaking at $\alpha_{(1,1)}$ ), while one target token increases a

実験結果

リサーチクエスチョン

• RQ1 概念方向に沿ってステアリングする場合、ステアリング強度 alpha は次トークン確率に定量的にどのような影響を与えるか？
• RQ2 ターゲット概念の存在と非ターゲット概念の抑制は、alpha によってどのように変化するか？
• RQ3 局所的および大きな alpha におけるクロスエントロピーの挙動はどうなるか、そして最適な alpha の選択にどう寄与するか？
• RQ4 理論的予測は、さまざまなモデルサイズとアーキテクチャで実証的に成立するか？

主な発見

• ステアリング強度 alpha はトークン確率にバンプパターンを作り出し、多くのトークンは有限の alpha でピークを迎え、alpha が大きくなると衰える。
• オフターゲットのトークンはターゲットより早くピークを迎え、ステアリングがターゲット概念に集中して出力品質を崩さないウィンドウを可能にする。
• 概念レベルのステアリング信号は、ターゲット概念に対してシグモイド状の増加を示し、非ターゲット概念には相補的な減少を示す。これは tanh に似た応答と一致する。
• クロスエントロピーは alpha に対して局所的に二次的に増加し、概念の存在が増加する一方で全体的なパフォーマンスが劣化するトレードオフを示す。
• 大きな alpha レジームでは、モデル出力は最大の対数オッズを持つトークンに集中し、理論的限界と経験的観察と一致する。
• 11モデルに対する経験的検証は、 probabilities および concept presence に対する alpha の予測された定性的挙動を確認した。

Figure 4 : Concept probability increases $\Delta p(\mathcal{C}\mid\alpha)$ predicted by Th. 3.6 : the target concept $\color[rgb]{0,0,1}\definecolor[named]{pgfstrokecolor}{rgb}{0,0,1}\Delta p(\mathcal{T}\mid\alpha)$ increases with a sigmoidal shape, an off-target $\color[rgb]{0.95,0.675,0.725}\defin