[論文レビュー] Building Better Deception Probes Using Targeted Instruction Pairs

Vikram Natarajan, Devina Jain+3 more|arXiv (Cornell University)|Feb 1, 2026

Deception detection and forensic psychology被引用数 0

ひとこと要約

システムプロンプトの選択が欺瞞 probes の性能を支配; タクソノミー aligned プロンプトは検出を改善; 欺瞞は異質で、普遍的な検出器よりターゲットを絞った probes が必要

ABSTRACT

Linear probes are a promising approach for monitoring AI systems for deceptive behaviour. Previous work has shown that a linear classifier trained on a contrastive instruction pair and a simple dataset can achieve good performance. However, these probes exhibit notable failures even in straightforward scenarios, including spurious correlations and false positives on non-deceptive responses. In this paper, we identify the importance of the instruction pair used during training. Furthermore, we show that targeting specific deceptive behaviors through a human-interpretable taxonomy of deception leads to improved results on evaluation datasets. Our findings reveal that instruction pairs capture deceptive intent rather than content-specific patterns, explaining why prompt choice dominates probe performance (70.6% of variance). Given the heterogeneity of deception types across datasets, we conclude that organizations should design specialized probes targeting their specific threat models rather than seeking a universal deception detector.

研究の動機と目的

• AI システムにおける欺瞞的振る舞いの堅牢な監視を促進する動機付け：モデルの誤表現や戦略的欺瞞への懸念を背景に。
• 表層コンテンツではなくモデルの活性化を用いて欺瞞的意図を検出する instruction-pair プ probes の検討。
• プロンプト設計、学習データ、モデルレイヤー選択が欺瞞検出性能に与える寄与を評価。
• 多様な欺瞞データセットで検出を向上させるためのタクソノミー aligned プロンプトを提案。

提案手法

• 固定層（レイヤー 20）からの残差活性化に対して線形回帰プローブ（ロジスティック回帰）を訓練し、モデルの応答からトークン集約活性化を使用。
• 対照的な instruction ペア（正直 vs 不正直プロンプト）を用いて、コンテンツよりも欺瞞意図を狙う訓練信号を作成。
• オンポリシーのモデル応答で 10 データセットにわたりプロンプを評価し、ベースライン・ベスト平均・タクソノミーベースのプロンプを比較。
• 人間の欺瞞分類に aligned したタクソノミーベースのプロンプトと、表層構造の影響を探るフレーミングの2つのプロンプト系を生成。
• システムプロンプト、訓練データ、レイヤー、トークン集約戦略からの分散寄与を定量化するために 2000 個のプローブに対して ANOVA を実施。）] ,
• research_questions:[
• システムプロンプト設計（正直 vs 不正直）は data、レイヤー、集約の選択より欺瞞 probe の性能を支配するか？
• タクソノミー aligned プロンプトは、 generic なプロンプトと比較して diverse データセットで欺瞞検出を改善するか？
• 欺瞞はデータセット間で異質であり、専門的なプローブが普遍的な検出器より優れるか？
• タクソノミープロンプトはモデルの活性化におけるどんな根底的メカニズムを捉えるか（意図 vs 内容）？

実験結果

リサーチクエスチョン

• RQ1 システムプロンプト設計（正直 vs 不正直）は欺瞞 probe の性能をデータ・レイヤー・集約の選択より支配するか？
• RQ2 タクソノミー aligned プロンプトは多様なデータセットで欺瞞検出を改善するか（汎用プロンプトと比較して）？
• RQ3 欺瞞はデータセット間で異質で、専門プローブが普遍的検出を上回るか？
• RQ4 タクソノミー プロンプトがモデルの活性化で捉える基本的メカニズムは何か（意図 vs 内容）？

主な発見

• システムプロンプトは性能の分散の 70.6% を説明し、レイヤー・データ・トークン集約の効果をはるかに上回る。
• タクソノミー基づくプロンプトは 10 データセットを横断して平均 AUC を 0.108 向上（相対利得 20.5%）。
• どのデータセットも少なくとも 1 つのタクソノミーベースプローブがベースラインを上回る結果。
• プロンプト種の不均一性は、欺瞞の異なるタイプが異なるプローブを必要とすることを意味し、普遍的検出器の難しさを示す。
• クラスタリングにより共通の検出方向を持つ 5 つのプローブ群が現れ、タクソノミープローブが核心的な欺瞞意図方向へアクセスすることを示唆。
• データセットごとに最良のタクソノミー・プローブはベースラインを大きく上回る可能性がある（例：MASK による既知事実の検出が AUC 0.374 から 0.697 へ改善））