[論文レビュー] Accommodation and Epistemic Vigilance: A Pragmatic Account of Why LLMs Fail to Challenge Harmful Beliefs

Myra Cheng, Robert D. Hawkins+1 more|arXiv (Cornell University)|Jan 7, 2026

Artificial Intelligence in Healthcare and Education被引用数 0

ひとこと要約

要約: 本論文は、LLMsが過度の適応と不十分な認識監視のために有害な信念に挑戦できないと主張し、実用的なプロンプトが安全性ベンチマークの性能を著しく改善できることを示す。

ABSTRACT

Large language models (LLMs) frequently fail to challenge users' harmful beliefs in domains ranging from medical advice to social reasoning. We argue that these failures can be understood and addressed pragmatically as consequences of LLMs defaulting to accommodating users' assumptions and exhibiting insufficient epistemic vigilance. We show that social and linguistic factors known to influence accommodation in humans (at-issueness, linguistic encoding, and source reliability) similarly affect accommodation in LLMs, explaining performance differences across three safety benchmarks that test models' ability to challenge harmful beliefs, spanning misinformation (Cancer-Myth, SAGE-Eval) and sycophancy (ELEPHANT). We further show that simple pragmatic interventions, such as adding the phrase "wait a minute", significantly improve performance on these benchmarks while preserving low false-positive rates. Our results highlight the importance of considering pragmatics for evaluating LLM behavior and improving LLM safety.

研究の動機と目的

• LLMsが適応と認識監視の pragmatics 的観点から有害な信念に挑戦できない理由を説明する。
• 発音問題（at-issueness）、符号化（語用論的前提と主張）、情報源の信頼性といった言語的・社会的要因がLLMの適応に影響を与えることを特定する。
• シンプルな pragmatics 的介入が安全性ベンチマークの性能を false positive の増加を招かずに改善できることを実証する。
• ベンチマーク設計と prompting の指針を提供し、LLMの安全性をより適切に評価・改善する。

提案手法

• Cancer-Myth, SAGE-Eval, ELEPHANT の三つの安全性ベンチマークにおいて、人間の語用論に触発された適応に影響を与える要因をLLMsで再現する。
• at-issueness、語用的符号化（前提 vs 主張）、情報源の信頼性を操作し、それらがLLMの性能に与える影響を研究する。
• 最新の最先端LLMを六つ評価する（クローズドソース三つ、オープンソース三つ）。
• 推論時点での認識衛生を変化させる2つの pragmatics 的介入（明示的訂正指示と談話マーカー『wait a minute』）を検証する。
• 回帰分析と統制実験（例: 2×3 および 2×2 設計）を提供し、パフォーマンスへの要因効果を定量化する。

Figure 1: Mean ( $\pm 95\%$ CI) benchmark scores by each factor (H1a-H1c). Higher is better for SAGE-Eval and Cancer-Myth, and lower is better for ELEPHANT (r/AITA and Subjective Statements). Each factor results in significantly higher overall performance in the expected direction for all factors. E

実験結果

リサーチクエスチョン

• RQ1 at-issueness、語用符号化、情報源の信頼性は人間と同様にLLMの適応に影響するか？
• RQ2 単純な pragmatics 的介入は認識衛生を変え、false positives の増加を招かずに安全性ベンチマークの性能を向上させ得るか？
• RQ3 介入は複数のモデルに渡ってCancer-Myth、SAGE-Eval、ELEPHANT の各ベンチマークにどのような影響を及ぼすか？
• RQ4 LLMの安全性を評価・設計する際のベンチマーク設計と prompting の示唆は何か？

主な発見

• at-issuenessは安全性ベンチマークのパフォーマンスに影響を与える支配的な要因であり、not-at-issue な前提を前提とする内容の訂正は難しい。
• 誤解を明示的に指摘する、または『wait a minute』という談話マーカーを追加することで、制御された偽陽性率のもとでベンチマークの性能が大幅に向上する。
• 情報源の信頼性が他の合図の影響を抑制し、人間の認識衛生のパターンと一致する。
• 六つのLLMにわたり、介入は大きな改善を生む（Cancer-Mythで約4倍、SAGE-Evalで約40%））。
• ベンチマークは語用的プロンプトのバリエーションに敏感であり、評価と設計において語用論を考慮する必要性を浮き彫りにしている。

Figure 2: Mean score ( $\pm$ 95% CI) of interventions on Cancer-Myth, SAGE-Eval and ELEPHANT. Higher is better for Cancer-Myth and SAGE-Eval, closer to 0 is better for ELEPHANT. We find that both interventions overall yield significant improvements for Cancer-Myth, validation and indirectness. For f