[논문 리뷰] Building Better Deception Probes Using Targeted Instruction Pairs

Vikram Natarajan, Devina Jain외 3명|arXiv (Cornell University)|2026. 02. 01.

Deception detection and forensic psychology인용 수 0

한 줄 요약

시스템 프롬프트 선택이 속임수-프로브 성능을 지배합니다; 분류학에 정렬된 프롬프트가 탐지를 향상시키며; 속임수는 이질적이므로 보편 탐지기보다 대상화된 프로브가 필요합니다.

ABSTRACT

Linear probes are a promising approach for monitoring AI systems for deceptive behaviour. Previous work has shown that a linear classifier trained on a contrastive instruction pair and a simple dataset can achieve good performance. However, these probes exhibit notable failures even in straightforward scenarios, including spurious correlations and false positives on non-deceptive responses. In this paper, we identify the importance of the instruction pair used during training. Furthermore, we show that targeting specific deceptive behaviors through a human-interpretable taxonomy of deception leads to improved results on evaluation datasets. Our findings reveal that instruction pairs capture deceptive intent rather than content-specific patterns, explaining why prompt choice dominates probe performance (70.6% of variance). Given the heterogeneity of deception types across datasets, we conclude that organizations should design specialized probes targeting their specific threat models rather than seeking a universal deception detector.

연구 동기 및 목표

• 모델 오도 표현과 전략적 기만에 대한 우려 속에서 AI 시스템의 기만적 행동에 대한 견고한 모니터링을 촉진한다.
• 지시-쌍 프로브가 표면 콘텐츠가 아닌 모델 활성화를 사용하여 기만 의도를 어떻게 탐지하는지 조사한다.
• 프롬프트 설계, 훈련 데이터 및 모델 계층 선택이 기만 탐지 성능에 어떻게 기여하는지 평가한다.
• 다양한 기만 데이터셋 전반에서 탐지 성능을 개선하기 위해 분류학에 정렬된 프롬프트를 제안한다.]
• method:[
• 선형(로지스틱 회귀) 프로브를 고정된 계층(레이어 20)에서 잔여 활성화에 대해 학습하며, 모델 응답에서 토큰 집계 활성화를 사용한다.
• 대조적 지시 쌍(정직 프롬프트 대 기만 프롬프트)을 사용하여 콘텐츠가 아닌 기만 의도를 겨냥한 학습 신호를 만든다.
• 온폴리시 모델 응답을 사용하여 10개 기만 데이터셋에 걸친 프롬프트를 평가하고, 베이스라인, 최적 평균(best-average), 분류학 기반 프롬프트를 비교한다.
• 두 가지 프롬프트 계열을 생성한다: 인간의 기만 분류체계에 정렬된 분류학 기반 프롬프트와 표면 구조 효과를 탐색하기 위한 프레이밍 변형.
• 시스템 프롬프트, 훈련 데이터, 계층, 토큰 집계 전략으로부터의 분산 기여를 정량화하기 위해 2000개 프로브에 대해 ANOVA를 수행한다.

제안 방법

• Train linear (logistic regression) probes on residual activations from a fixed layer (layer 20) using token-aggregated activations from the model’s responses.
• Use contrastive instruction pairs (honest vs dishonest prompts) to create training signals that target deceptive intent rather than content.
• Evaluate prompts across 10 deception datasets with on-policy model responses, comparing baseline, best-average, and taxonomy-based prompts.
• Generate two prompt families: taxonomy-based prompts aligned to a human deception taxonomy and framing variations to explore surface-structure effects.
• Perform ANOVA over 2000 probes to quantify variance contributions from system prompts, training data, layer, and token-aggregation strategy.

실험 결과

연구 질문

• RQ1 시스템 프롬프트 설계(정직 vs 기만)가 데이터, 계층 또는 집계 선택에 비해 속임수 프로브 성능을 지배하는가?
• RQ2 분류학 기반 프롬프트가 일반 프롬프트와 비교하여 다양한 데이터셋에서 기만 탐지를 개선하는가?
• RQ3 데이터셋마다 기만이 이질적이어서 전문화된 프로브가 보편 탐지기보다 우수한가?
• RQ4 분류학 프롬프트가 모델 활성화에서 어떤 기본 메커니즘을 포착하는가(의도 대 콘텐츠)?

주요 결과

• 시스템 프롬프트가 성능 분산의 70.6%를 설명하며, 계층, 데이터 또는 토큰 집계 효과를 훨씬 능가한다.
• 분류학 기반 프롬프트는 10개 데이터셋에 걸쳐 평균 AUC를 0.108 향상시키며(상대 증가 20.5%),
• 모든 데이터셋에서 분류학 기반 프로브 하나 이상이 기준값을 능가했다.
• 프롬프트 유형의 이질성은 서로 다른 기만 유형이 서로 다른 프로브를 필요로 한다는 것을 의미하며, 보편 탐지기를 어렵게 한다.
• 클러스터링은 공통 탐지 방향을 가진 다섯 개의 프로브 그룹을 드러내며, 분류학 프롬프트가 핵심 기만 의도 방향에 접근한다는 것을 시사한다.
• 데이터셋당 최고의 분류학 프로브는 기준값을 크게 상회할 수 있으며(예: MASK known facts에서 AUC가 0.374에서 0.697로 향상).