[論文レビュー] Prism-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

Yuyao Ge, Shenghua Liu+7 more|arXiv (Cornell University)|Mar 11, 2026

Topic Modeling被引用数 0

ひとこと要約

Prism-Δ は差分クロス共分散サブスペース学習を導入し、Transformer の注意機構における Key および Value チャンネルの両方を指示してプロンプトの強調を実現。ソフトプラスベースのヘッドごと weighting により、強い利得をベンチマーク全体で達成し、長い文脈にも拡張可能で流暢さを維持。

ABSTRACT

Prompt highlighting steers a large language model to prioritize user-specified text spans during generation. A key challenge is extracting steering directions that capture the difference between relevant and irrelevant contexts, rather than shared structural patterns common to both. We propose PRISM-$Δ$ (Projection-based Relevance-Informed Steering Method), which decomposes the difference between positive and negative cross-covariance matrices to maximize discriminative energy while eliminating shared directions. Each attention head receives a continuous softplus importance weight, letting weak-but-useful heads contribute at reduced strength. The framework extends naturally to Value representations, capturing content-channel signal that Key-only methods leave unused. Across four benchmarks and five models, PRISM-$Δ$ matches or exceeds the best existing method on 19 of 20 configurations, with relative gains up to +10.6%, while halving the fluency cost of steering. PRISM-$Δ$ also scales to long-context retrieval, outperforming the best existing method by up to +4.8% relative gain. PRISM-$Δ$ is compatible with FlashAttention and adds negligible memory overhead.

研究の動機と目的

• 生成時にユーザー指定のテキスト範囲を優先するためのプロンプト強調を動機付ける。
• Key（ルーティング）と Value（コンテンツ）チャンネルの両方に強調の識別信号が含まれるかを調査する。
• 勾配なしで、ヘッドごとに適応的に操縦する方法を開発し、識別方向を特定する。
• Key と Value チャンネルを共同で操縦する枠組みを拡張し、効率とスケーラビリティを評価する。

提案手法

• 識別方向を特定するための対照データ（中立、正、負）を構築する。
• 差分クロス共分散 ΩΔ = Ω+ − Ω− を定義し、その SVD を計算して射影サブスペース P_K と P_V を取得する。
• 対照信号から各ヘッドの識別性 Dℓ,h を算出し、それを適応的なヘッド操縦のためのソフトプラス重み wℓ,h に写す。
• 強調トークンで Key と Value の表現を (I + gK wK PK) および (I + gV wV PV) で編集してデュアルチャンネル操縦を適用する。
• Prism-Δ の2つの variante を提供する： Prism-Δ (gV = 0) と Prism-Δ V (gK > 0, gV > 0)。
• FlashAttention との互換性を示し、オーバーヘッドの効率性を分析する。

Figure 1 : Overview of Prism- $\Delta$ . SVD decomposes $\Omega_{\Delta}$ into per-head projections ( $P_{K}$ , $P_{V}$ ) and importance weights ( $w_{\ell,h}$ ), steering both Key and Value channels at inference.

実験結果

リサーチクエスチョン

• RQ1 Key および Value チャンネルの正・負の prompting 信号を分離する識別サブスペースは存在するか？
• RQ2 差分クロス共分散（独立した SVD ではなく）により、プロンプト強調の真に識別的な方向を分離できるか？
• RQ3 デュアルチャンネル（Key および Value）操縦が、ベンチマークやモデルサイズ全体で精度と流暢さに与える影響は？
• RQ4 ヘッドごとのソフトプラス重み付けは頑健性とチューニング要件にどのような影響を与えるか？
• RQ5 Prism-Δ は長い文脈の検索シナリオにスケールするか？

主な発見

• Prism-Δ は5つのモデルと3つのベンチマークの19/20設定で従来の最良手法と同等かそれを超え、相対利得は最大で +10.6%。
• 値チャンネルの操縦は Key のみの方法に比べて流暢さの低下を抑制し、生成の一貫性を改善。
• デュアルチャンネル（Key と Value）の操縦は補完的な深さプロファイルを生み、Key が中間層を、Value が後半層を指示する。
• ソフトプラスベースのヘッドごとの重み付けはノイズの多いヘッドを頑健に抑制し、ハード閾値付けより安定性を向上。
• Prism-Δ V（デュアルチャンネル）は特定の代名詞変更タスクで Prism-Δ を上回ることがあり、Key/Value の共同操縦の利点を示す。
• Prism-Δ は長文脈検索にスケールし、30パッセージ入力で相対利得を最大 +4.8% 達成。
• 推論はメモリオーバーヘッドが小さく FlashAttention との互換性があることを示唆；PASTA/SPA系ベースラインはより高い待機時間/メモリを要する。

(a) Per-head K vs. V discriminative shift.