[論文レビュー] Unknown Unknowns: Why Hidden Intentions in LLMs Evade Detection

Devansh Srivastav, David Pape+1 more|arXiv (Cornell University)|Jan 26, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

論文はLLM出力における隠れ意図の十カテゴリ分類を定義し、それらを誘発する実験的テストベッドを構築・評価して、オープンワールド監査の堅牢性のギャップを示す。

ABSTRACT

LLMs are increasingly embedded in everyday decision-making, yet their outputs can encode subtle, unintended behaviours that shape user beliefs and actions. We refer to these covert, goal-directed behaviours as hidden intentions, which may arise from training and optimisation artefacts, or be deliberately induced by an adversarial developer, yet remain difficult to detect in practice. We introduce a taxonomy of ten categories of hidden intentions, grounded in social science research and organised by intent, mechanism, context, and impact, shifting attention from surface-level behaviours to design-level strategies of influence. We show how hidden intentions can be easily induced in controlled models, providing both testbeds for evaluation and demonstrations of potential misuse. We systematically assess detection methods, including reasoning and non-reasoning LLM judges, and find that detection collapses in realistic open-world settings, particularly under low-prevalence conditions, where false positives overwhelm precision and false negatives conceal true risks. Stress tests on precision-prevalence and precision-FNR trade-offs reveal why auditing fails without vanishingly small false positive rates or strong priors on manipulation types. Finally, a qualitative case study shows that all ten categories manifest in deployed, state-of-the-art LLMs, emphasising the urgent need for robust frameworks. Our work provides the first systematic analysis of detectability failures of hidden intentions in LLMs under open-world settings, offering a foundation for understanding, inducing, and stress-testing such behaviours, and establishing a flexible taxonomy for anticipating evolving threats and informing governance.

研究の動機と目的

• 意図・機構・文脈・影響に焦点を当てたデザインベースの隠れ意図分類を導入する。
• ラボモデルにおける隠れ意図の統制誘導を実証し、信頼できる評価テストベッドを作成する。
• カテゴリ特異およびカテゴリ非特異設定の下で、静的分類器と推論系および非推論系LLMジャッジを用いた検出手法を体系的に評価する。
• 制御されたテストベッドを超えて、実装済みの現実世界のLLMに隠れ意図が出現することを示し、ガバナンスと安全性への示唆を強調する。

提案手法

• 社会科学理論に基づく隠れ意図の十カテゴリ分類を作成する。
• プロンプト工学、ルーティング、ルールベースの後処理を用いて、未改変のLLM（Mistral-7BおよびLlama3.2-3B）に挙動を誘導して、ラボ統制のテストベッドを構築する。
• カテゴリあたり400件（計4000件）のバランスの取れたデータセットを作成し、グラウンドトゥルースラベルは人間アノテーションで検証する。
• 検出を静的分類器とLLMジャッジ（カテゴリ特異およびカテゴリ非特異）、推論モデルと非推論モデルを比較して評価する。
• 現実的な有病率の下で、精度–有病率および精度–FNRのトレードオフを分析するストレステストを実施する。
• 全十カテゴリが実装済みの最新世代LLMに現れることを示す定性的ケーススタディを実施する。

Figure 1: Conceptual model of hidden intentions and an overt example from our testbed.

実験結果

リサーチクエスチョン

• RQ1 隠れ意図の十カテゴリ分類を、LLM出力の検出に運用可能化できるか。
• RQ2 統制されたラボ環境とオープンワールド条件で、検出手法はどれだけ信頼性をもって隠れ意図を識別できるか。
• RQ3 推論可能なLLMジャッジは、カテゴリ特異およびカテゴリ非特異設定の下で、非推論ジャッジより検出精度・頑健性で優れているか。
• RQ4 制御テストベッドを超えて、隠れ意図は実世界のデプロイLLMに現れるか。
• RQ5 実運用での監査に影響を及ぼす基本的な制約とトレードオフ（精度、有病率、FNR）は何か。

主な発見

Models	Accuracy	F1	FPR	FNR	Accuracy	F1	FPR	FNR
Gemma3-12B	0.76	0.82	0.44	0.03	0.55	0.69	0.90	0.01
Llama-4-Maverick-17B-128E	0.84	0.81	0.08	0.23	0.78	0.76	0.20	0.23
GPT-4.1	0.89	0.89	0.10	0.12	0.80	0.77	0.19	0.20
Claude Sonnet 4	0.88	0.89	0.17	0.08	0.73	0.78	0.48	0.07
Mistral Medium 3	0.88	0.87	0.08	0.15	0.78	0.69	0.04	0.40
Qwen QwQ-32B	0.88	0.88	0.13	0.12	0.71	0.75	0.50	0.09
DeepSeek-R1-Distill-Llama-70B	0.87	0.86	0.12	0.14	0.80	0.79	0.22	0.18
o3	0.84	0.81	0.10	0.22	0.72	0.57	0.03	0.52
Claude Opus 4	0.89	0.89	0.15	0.07	0.66	0.75	0.66	0.02
Magistral Medium	0.86	0.87	0.14	0.13	0.73	0.77	0.44	0.10

• カテゴリ特異な事前知識の下で検出器は最も良い性能を示すが、現実的なオープンワールド設定（カテゴリ非特異）では失敗する。
• 推論可能なLLMジャッジは、検出精度や頑健性において非推論ジャッジを一貫して上回らない。
• オープンワールドにおける検出は、有病率が低い場合に偽陽性が多く真陽性を見逃すため、精度が崩壊する。
• 十カテゴリすべてがデプロイ済みのSOTALLMに現れることを確認し、分類の外部的関連性を裏づける。
• 静的なパターンベース検出は不十分であり、 priors を用いた文脈依存判断が広範な監査には必要だが、信頼性は低い。
• ストレステストは、使える監査のためには偽陽性を極めて小さく抑えるか、強い priors を達成する必要があることを示す。

Figure 2: Precision as a function of prevalence for GPT-4.1 under category-specific judging.