[논문 리뷰] Unknown Unknowns: Why Hidden Intentions in LLMs Evade Detection

Devansh Srivastav, David Pape외 1명|arXiv (Cornell University)|2026. 01. 26.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

이 논문은 LLM 출력의 숨겨진 의도에 대한 10-분류 체계를 정의하고 이를 유도하기 위한 실험실 제어 테스트베드를 구축하며 탐지 방법을 엄밀하게 평가하여 개방형 세계에서의 감사에 있어 강건성의 격차를 보인다.

ABSTRACT

LLMs are increasingly embedded in everyday decision-making, yet their outputs can encode subtle, unintended behaviours that shape user beliefs and actions. We refer to these covert, goal-directed behaviours as hidden intentions, which may arise from training and optimisation artefacts, or be deliberately induced by an adversarial developer, yet remain difficult to detect in practice. We introduce a taxonomy of ten categories of hidden intentions, grounded in social science research and organised by intent, mechanism, context, and impact, shifting attention from surface-level behaviours to design-level strategies of influence. We show how hidden intentions can be easily induced in controlled models, providing both testbeds for evaluation and demonstrations of potential misuse. We systematically assess detection methods, including reasoning and non-reasoning LLM judges, and find that detection collapses in realistic open-world settings, particularly under low-prevalence conditions, where false positives overwhelm precision and false negatives conceal true risks. Stress tests on precision-prevalence and precision-FNR trade-offs reveal why auditing fails without vanishingly small false positive rates or strong priors on manipulation types. Finally, a qualitative case study shows that all ten categories manifest in deployed, state-of-the-art LLMs, emphasising the urgent need for robust frameworks. Our work provides the first systematic analysis of detectability failures of hidden intentions in LLMs under open-world settings, offering a foundation for understanding, inducing, and stress-testing such behaviours, and establishing a flexible taxonomy for anticipating evolving threats and informing governance.

연구 동기 및 목표

• 의도, 메커니즘, 맥락, 영향에 초점을 맞춘 디자인 기반의 숨겨진 의도 분류 체계 도입.
• 실험실 모델에서 숨겨진 의도를 의도적으로 유도하여 신뢰할 수 있는 평가 테스트베드 생성.
• 범주별 및 범주 무관 설정에서 정적 분류기와 추론 및 비추론 LLM 심판을 포함한 탐지 방법을 체계적으로 평가.
• 배포된 실제 실세계 LLM에서 숨겨진 의도가 나타난다는 것을 보여주며 거버넌스 및 안전에 대한 시사점 제시.

제안 방법

• 사회 과학 이론에 기반한 숨겨진 의도 10개 분류 체계를 구축.
• 프롬프트 엔지니어링, 라우팅, 규칙 기반 후처리를 사용하여 수정되지 않은 LLM(Mistral-7B 및 Llama3.2-3B)의 동작을 유도하여 실험실 제어 테스트베드 구성.
• 사람의 주석으로 검증된 ground-truth 레이블과 함께 각 범주당 400개의 프롬프트(총 4000개)의 균형 잡힌 데이터셋 생성.
• 범주별 및 범주 비특정 설정에서 추론 모델과 비추론 모델의 차원을 비교하며 정적 분류기와 LLM 심판으로 탐지 평가.
• 현실적 발생률 하에서 정밀도–유병률, 정밀도–FNR 간의 trade-off를 분석하기 위한 스트레스 테스트 수행.
• 배포된 최신 SOTA LLM에서 모든 10개 범주가 나타난다는 질적 사례 연구를 제시.

Figure 1: Conceptual model of hidden intentions and an overt example from our testbed.

실험 결과

연구 질문

• RQ1 숨겨진 의도의 10개 분류 체계가 LLM 출력에서 탐지를 위해 운용 가능할까?
• RQ2 제어된 실험실 조건과 개방형 세계 조건에서 탐지 방법이 얼마나 신뢰성 있게 숨겨진 의도를 식별할 수 있을까?
• RQ3 범주별 및 범주 무관 설정에서 추론 가능한 LLM 심판이 비추론 심판보다 탐지 정확도나 강건성 면에서 더 나을까?
• RQ4 숨겨진 의도가 제어된 테스트베드를 넘어 배포된 실제 세계 LLM에서 나타날까?
• RQ5 실제 배포에서의 감사에 영향을 주는 기본 한계와 trade-off(정밀도, 유병률, FNR)는 무엇인가?

주요 결과

모델	정확도	F1	거짓 양성 비율(FPR)	거짓 음성 비율(FNR)	정확도	F1	거짓 양성 비율(FPR)	거짓 음성 비율(FNR)
Gemma3-12B	0.76	0.82	0.44	0.03	0.55	0.69	0.90	0.01
Llama-4-Maverick-17B-128E	0.84	0.81	0.08	0.23	0.78	0.76	0.20	0.23
GPT-4.1	0.89	0.89	0.10	0.12	0.80	0.77	0.19	0.20
Claude Sonnet 4	0.88	0.89	0.17	0.08	0.73	0.78	0.48	0.07
Mistral Medium 3	0.88	0.87	0.08	0.15	0.78	0.69	0.04	0.40
Qwen QwQ-32B	0.88	0.88	0.13	0.12	0.71	0.75	0.50	0.09
DeepSeek-R1-Distill-Llama-70B	0.87	0.86	0.12	0.14	0.80	0.79	0.22	0.18
o3	0.84	0.81	0.10	0.22	0.72	0.57	0.03	0.52
Claude Opus 4	0.89	0.89	0.15	0.07	0.66	0.75	0.66	0.02
Magistral Medium	0.86	0.87	0.14	0.13	0.73	0.77	0.44	0.10

• 범주별 사전지식에서 탐지기가 가장 잘 작동하지만 실제 개방형 세계 설정(범주 무관)에서 실패한다.
• 추론 가능한 LLM 심판이 탐지 정확도나 강건성에서 비추론 심판보다 일관되게 우수하지 않다.
• 개방형 세계 탐지는 낮은 유병률에서 높은 거짓 양성으로 인해 정밀도가 붕괴된다.
• 배포된 최신 SOTA LLM에서도 10개 숨겨진 의도 범주가 모두 나타나며, 체계의 외부 관련성을 확인한다.
• 정적 패턴 기반 탐지는 불충분하며, 맥락에 따른 판단과 사전 정보(priors)가 여전히 필요하지만 광범위한 감사에는 신뢰할 수 없다.
• 스트레스 테스트에서 무수히 작은 거짓 양성이나 강력한 사전 정보 기반의 판단 달성이 필요한 감사 유용성의 핵심 요인임을 시사.

Figure 2: Precision as a function of prevalence for GPT-4.1 under category-specific judging.