[논문 리뷰] AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors

Abhay Sheshadri, Aidan Ewart외 6명|arXiv (Cornell University)|2026. 02. 26.

Explainable Artificial Intelligence (XAI)인용 수 2

한 줄 요약

AuditBench는 56개의 모델에 대해 14개의 implanted hidden behaviors를 내재한 벤치마크를 도입하고, 식별하기 위한 감사 도구 모음을 사용하여 조사자 에이전트를 평가하며, 도구-에이전트 간 격차와 학습 방법의 영향에 대한 감사 가능성을 드러낸다.

ABSTRACT

We introduce AuditBench, an alignment auditing benchmark. AuditBench consists of 56 language models with implanted hidden behaviors. Each model has one of 14 concerning behaviors--such as sycophantic deference, opposition to AI regulation, or secret geopolitical loyalties--which it does not confess to when directly asked. AuditBench models are highly diverse--some are subtle, while others are overt, and we use varying training techniques both for implanting behaviors and training models not to confess. To demonstrate AuditBench's utility, we develop an investigator agent that autonomously employs a configurable set of auditing tools. By measuring investigator agent success using different tools, we can evaluate their efficacy. Notably, we observe a tool-to-agent gap, where tools that perform well in standalone non-agentic evaluations fail to translate into improved performance when used with our investigator agent. We find that our most effective tools involve scaffolded calls to auxiliary models that generate diverse prompts for the target. White-box interpretability tools can be helpful, but the agent performs best with black-box tools. We also find that audit success varies greatly across training techniques: models trained on synthetic documents are easier to audit than models trained on demonstrations, with better adversarial training further increasing auditing difficulty. We release our models, agent, and evaluation framework to support future quantitative, iterative science on alignment auditing.

연구 동기 및 목표

• 두 가지 주입 방법과 적대적 학습 전반에 걸쳐 주입된 숨겨진 행동을 가진 다양한 대상 모델 세트를 제공한다.
• 주입된 행동을 탐지하기 위해 구성 가능한 감사 도구를 사용할 수 있는 조사자 에이전트를 개발한다.
• 감사 도구와 구성을 체계적으로 비교하여 그 한계 가치를 측정한다.
• 학습 구성(configuration)이 감사 가능성에 미치는 영향을 분석하고 도구-에이전트 격차를 식별한다.
• 추가 정렬 감사 연구를 지원하기 위해 모델, 에이전트 및 평가 프레임워크를 공개한다.

제안 방법

• Transcript distillation 또는 synthetic document fine-tuning (SDF)을 사용하여 14개의 숨겨진 행동 중 하나를 각 모델에 부여한 56개의 대상 모델을 생성한다.
• 두 가지 적대적 학습 규범(SFT 및 KTO)을 적용하여 고백 비율을 낮추고 감사 도전을 증가시킨다.
• 다중 턴 상호 작용에서 타깃을 조사하기 위해 구성 가능한 블랙박스, 화이트박스, 그리고 스캐폴드 도구를 갖춘 조사자 에이전트(Claude Haiku 4.5)를 개발한다.
• 에이전트가 숨겨진 행동을 예측하도록 하고 LLM 분류기로 확인하여 타깃 모델에 걸쳐 13가지 도구 구성을 평가한다.
• 도구의 효과를 평가하고 독립 실행 도구의 성능이 항상 에이전트의 효과로 이어지지 않는 도구-에이전트 격차를 관찰한다.
• 복제 및 확장을 위한 학습 데이터, 모델 생성 파이프라인, 에이전트 스캐폴딩, 평가 프레임워크를 공개한다.

Figure 1 : Examples of behaviors and auditing tools. AuditBench consists of 56 target models, each of which has one of 14 hidden behaviors (four shown above). An investigator agent is given access to a configurable set of auditing tools, ranging from black-box prompting techniques to white-box inter

실험 결과

연구 질문

• RQ1 다양한 학습 구성에서 숨겨진 행동을 발견하는 데 성공을 극대화하는 감사 도구와 에이전트 스캐폴드가 무엇인가?
• RQ2 숨겨진 행동을 주입하는 다양한 방법(TD 대 SDF)과 적대적 학습(SFT 대 KTO)이 감사 가능성에 어떤 영향을 미치는가?
• RQ3 자율 감사 에이전트를 위한 화이트박스 도구와 블랙박스 도구의 유용성은 어느 정도인가?
• RQ4 스캐폴드된 도구 사용이 비스캐폴드 접근 방식에 비해 에이전트 성능을 어느 정도 향상시키는가?
• RQ5 감사 성능에서 관찰된 도구-에이전트 격차를 무엇이 설명하는가?

주요 결과

• 스캐폴드된 블랙박스 도구가 대상 모델 전반에서 최상위 조사자 성공률을 산출한다.
• SDF로 학습된 모델은 transcript-distilled 모델보다 감사하기 쉽고, 일부 설정에서 SFT 적대적 학습이 KTO보다 더 감사 가능하다.
• 적대적 학습은 고백 비율을 감소시키며, KTO가 일부 상황에서 SFT보다 고백 감소에 우수하다.
• 화이트박스 도구는 일부 모델에서 정보를 제공하지만 일반적으로 스캐폴드된 블랙박스 도구에 의해 능가되지 않는다.
• 감사 성능은 대상 모델의 학습 구성에 따라 크게 달라지며, 다양한 벤치마크의 필요성을 강조한다.

Figure 2 : Behavior instillation followed by adversarial training reliably produces target models that exhibit secret behaviors. We measure behavioral strength using an automated evaluation pipeline (see subsection B.3 ) that generates scenarios designed to elicit each specific behavior, then uses a