[論文レビュー] Steer2Edit: From Activation Steering to Component-Level Editing

Chung-En Sun, Ge Yan+2 more|arXiv (Cornell University)|Feb 10, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

Steer2Edit は推論時の steering ベクトルを成分レベルのランク-1 ウェイト編集へ翻訳し、訓練不要でアーキテクチャを維持した LLM の挙動制御を可能にし、属性–有用性のトレードオフを改善します。

ABSTRACT

Steering methods influence Large Language Model behavior by identifying semantic directions in hidden representations, but are typically realized through inference-time activation interventions that apply a fixed, global modification to the model's internal states. While effective, such interventions often induce unfavorable attribute-utility trade-offs under strong control, as they ignore the fact that many behaviors are governed by a small and heterogeneous subset of model components. We propose Steer2Edit, a theoretically grounded, training-free framework that transforms steering vectors from inference-time control signals into diagnostic signals for component-level rank-1 weight editing. Instead of uniformly injecting a steering direction during generation, Steer2Edit selectively redistributes behavioral influence across individual attention heads and MLP neurons, yielding interpretable edits that preserve the standard forward pass and remain compatible with optimized parallel inference. Across safety alignment, hallucination mitigation, and reasoning efficiency, Steer2Edit consistently achieves more favorable attribute-utility trade-offs: at matched downstream performance, it improves safety by up to 17.2%, increases truthfulness by 9.8%, and reduces reasoning length by 12.2% on average. Overall, Steer2Edit provides a principled bridge between representation steering and weight editing by translating steering signals into interpretable, training-free parameter updates. Our code is available at https://github.com/Trustworthy-ML-Lab/Steer2Edit

研究の動機と目的

• LLMs の全機微調整や再訓練を伴わない軽量な行動制御を動機づける。
• steering ベクトルを成分レベルのパラメータ編集へ翻訳する principled な方法を提供する。
• 標準のフォワードパスの保存と最適化インファレンスとの互換性を保ちながら、選択的で解釈可能な編集を可能にする。
• 安全性・真実性・推論効率の属性–有用性トレードオフを改善したことを示す。

提案手法

• steering ベクトルを、特定のアテンションヘッドおよび MLP ニューロンがターゲット属性に整列していることを示す診断信号として表現する。
• 更新を editable コンポーネント（アテンションヘッド出力および MLP ダウンプロジェクション）に対してランク-1 編集に制約する。
• 編集方向を導出する：出力空間方向 u_i を steering ベクトル v_i に沿わせる；入力空間方向 k_i を W_i^T v_i に比例させる；Delta W_i = lambda_i u_i k_i^Tとして編集をパラメータ化する。
• 編集量 lambda_i を Elastic-Net 目的関数で割り当て、スパース性と全体の編集強度を制御する。成分の重要度 g_i = cos(v_i, W_i μ_i) を用いる。
• 閉形式の単一ステップ更新 Delta W_i = sign(g_i) * max(|g_i| - rho*alpha, 0) / (rho*(1 - alpha)) * (hat{v}_i hat{k}_i^T) を生成する。
• 訓練不要かつアーキテクチャを preserving するワークフローを、標準のフォワードパスおよび最適化された推論パイプラインと互換する形で維持する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット属性のために訓練された steering ベクトルを、モデル内の成分レベルの影響を診断するために再利用できるか。
• RQ2 steering 信号を局所的なランク-1 ウェイト編集へ変換し、特定のヘッド/ニューロンを介して挙動を選択的に増幅または抑制できるか。
• RQ3 成分レベルの編集は、安全性・真実性・効率タスクにおける推論時のアクティベーション steering よりも属性–有用性のトレードオフを改善するか。
• RQ4 得られる編集フレームワークは訓練不要で閉形式かつ、どのコンポーネントがその挙動を媒介するかが解釈可能か。

主な発見

• Steer2Edit は、安全性・真実性・効率タスクにおいて、アクティベーション steering より優れた属性–有用性のトレードオフを達成する。
• 編集は希であり、特に安全性と真実性のために少数のアテンションヘッドに集中する一方、効率のために MLP ニューロン全体に分散する。
• フレームワークは、ネットワークの特定の挙動を支配する部分を示す解釈可能な成分レベルの編集を提供する。
• Steer2Edit は元のアーキテクチャとフォワードパスを保持し、最適化された並列推論との互換性を確保する。
• 定量的な向上として、同等の下流性能で、安全性の改善が最大 17.2%、真実性の改善が 9.8%、推論長が平均で 12.2% 短縮、という結果が得られる。