[論文レビュー] AI Steerability 360: A Toolkit for Steering Large Language Models

Erik Miehling, Karthikeyan Natesan Ramamurthy+11 more|arXiv (Cornell University)|Mar 8, 2026

Topic Modeling被引用数 0

ひとこと要約

AISteer360 は、入力・構造・状態・出力コントロールを通じて LLM の steering を統一し評価するオープンソースの Python ツールキット。 steering パイプラインとベンチマーク済みユースケースを提供。

ABSTRACT

The AI Steerability 360 toolkit is an extensible, open-source Python library for steering LLMs. Steering abstractions are designed around four model control surfaces: input (modification of the prompt), structural (modification of the model's weights or architecture), state (modification of the model's activations and attentions), and output (modification of the decoding or generation process). Steering methods exert control on the model through a common interface, termed a steering pipeline, which additionally allows for the composition of multiple steering methods. Comprehensive evaluation and comparison of steering methods/pipelines is facilitated by use case classes (for defining tasks) and a benchmark class (for performance comparison on a given task). The functionality provided by the toolkit significantly lowers the barrier to developing and comprehensively evaluating steering methods. The toolkit is Hugging Face native and is released under an Apache 2.0 license at https://github.com/IBM/AISteer360.

研究の動機と目的

• プロンプト、モデル内部、活性化/注意機構、デコードのステアリング手法を実装するための統一的なインターフェースと抽象化を提供する。
• 複雑な介入のための steering パイプラインを通じた複数の steering 手法の組み合わせを可能にする。
• ユースケースとベンチマークを用いた steering 手法の包括的な評価と比較を促進する。
• 再利用可能なパターンと HF-native 統合を提供することで、steering 手法の開発と評価の敷居を下げる。

提案手法

• 入力・構造・状態・出力の四つのサーフェス・タクソノミーを定義する。
• SteeringPipeline をコア・サーフェスとして導入し、複数のコントロールを単一のモデル操作に結合する。
• タスクを定義し、固定パラメータ設定と swept パラメータ設定の下で steering パイプラインを評価するためのユースケースとベンチマーククラスを提供する。
• コントロール間のトレードオフと相互作用を研究するためのベンチマークを提供する（例：活性化のステアリング・デコーディング時のステアリング）。
• 具体的な活性化ステアリングの例（対照的活性化加算）を実証し、トレーニングと推論の統合を示す。
• ActAdd、ITI、CAA などの活性化ステアリングのためのモジュール化されたコンポーネントを備えた複合的なステアリングと再利用可能な状態-コントロール抽象をサポートする。

Figure 1: Tradeoff between instruction following ability and response quality as steering strength is varied. The black X is the baseline (unsteered) behavior; the grey line is the Pareto frontier.

実験結果

リサーチクエスチョン

• RQ1 異なるモデルコントロール・サーフェース全体の steering 手法を共通インターフェースの下で統一する方法は。
• RQ2 複数の steering 手法を組み合わせることがモデル挙動とタスク性能に与える影響は。
• RQ3 steering パラメータがターゲット挙動（例：指示遵守）と補助次元（例：応答品質）との間でどのようにトレードオフするか。
• RQ4 ユースケース全体での steering 手法の迅速な開発と評価を支援する最適なツールボート・パターンは。

主な発見

• ツールキットは共通インターフェース（SteeringPipeline）を介して steering 手法の構築と結合を可能にする。
• ベンチマークは指示遵守と報酬/品質指標のトレードオフを明らかにし、いくつかのケースで steering 強度の美味しい地点を示すパレート前線を示す。
• 複合的な steering は特定のタスクで個々のコントロールより良いトレードオフを生むことがある。
• 状態-コントロール抽象は活性化ステアリングの再利用可能なパターンを提供し、推定器・セレクタ・変換・ゲートといったコンポーネントを複数の手法で共有可能にする。
• CAA、ActAdd、ITI のような活性化ステアリング手法はモジュール化されたコンポーネントで実装され、DeAL のようなデコーディング時コントロールと組み合わせてパイプラインで使用可能。