[论文解读] Building Better Deception Probes Using Targeted Instruction Pairs

Vikram Natarajan, Devina Jain+3 more|arXiv (Cornell University)|Feb 1, 2026

Deception detection and forensic psychology被引用 0

一句话总结

系统提示选项支配欺骗探针性能；按分类法对齐的提示提高检测能力；欺骗具有异质性，需要针对性探针而非通用检测器。

ABSTRACT

Linear probes are a promising approach for monitoring AI systems for deceptive behaviour. Previous work has shown that a linear classifier trained on a contrastive instruction pair and a simple dataset can achieve good performance. However, these probes exhibit notable failures even in straightforward scenarios, including spurious correlations and false positives on non-deceptive responses. In this paper, we identify the importance of the instruction pair used during training. Furthermore, we show that targeting specific deceptive behaviors through a human-interpretable taxonomy of deception leads to improved results on evaluation datasets. Our findings reveal that instruction pairs capture deceptive intent rather than content-specific patterns, explaining why prompt choice dominates probe performance (70.6% of variance). Given the heterogeneity of deception types across datasets, we conclude that organizations should design specialized probes targeting their specific threat models rather than seeking a universal deception detector.

研究动机与目标

• 在有关模型错误陈述和策略性欺骗的担忧中，推动对AI系统欺骗行为的稳健监控。
• 研究如何通过模型激活而非表面内容的探针，使用指令对来检测欺骗意图。
• 评估提示设计、训练数据和模型层选择如何影响欺骗检测性能。
• 提出按分类法对齐的提示，以提高在多样化欺骗数据集上的检测效果。

提出的方法

• 在固定层（第20层）的残差激活上训练线性（逻辑回归）探针，使用模型回应的分词聚合激活作为特征。
• 使用对比指令对（诚实与不诚实提示）来创建训练信号，目标是欺骗意图而非内容。
• 在10个欺骗数据集上评估提示，对比基线、最佳均值和按分类法的提示，使用策略一致的模型回应。
• 生成两类提示族：对齐到人工欺骗分类法的分类法提示，以及用来探索表层结构效应的框架变体。
• 对2000个探针执行ANOVA，以量化系统提示、训练数据、层级和分词聚合策略的方差贡献。

实验结果

研究问题

• RQ1 系统提示设计（诚实 vs 不诚实）在多大程度上支配欺骗探针性能，相较于数据、层级或聚合选项？
• RQ2 与通用提示相比，按分类法对齐的提示是否在多样数据集上提升欺骗检测？
• RQ3 欺骗在数据集间是否呈现异质性，以至于专用探针优于通用探测器？
• RQ4 分类法提示在模型激活中捕捉到的潜在机制是什么（意图 vs 内容）？

主要发现

• 系统提示解释了70.6%的性能方差，显著高于层、数据或分词聚合的影响。
• 按分类法的提示在十个数据集上平均提高AUC 0.108（相对提升20.5%）。
• 每个数据集中至少有一个按分类法的探针优于基线。
• 提示类型的异质性意味着不同的欺骗类型需要不同的探针，挑战通用检测器。
• 聚类揭示五组探针具有共同的检测方向，表明分类法探针能够访问核心的欺骗意图方向。
• 每个数据集中的最佳分类法探针相较基线可获得显著提升（例如将已知事实的MASK从AUC 0.374提升至0.697）。