[논문 리뷰] Accommodation and Epistemic Vigilance: A Pragmatic Account of Why LLMs Fail to Challenge Harmful Beliefs

Myra Cheng, Robert D. Hawkins외 1명|arXiv (Cornell University)|2026. 01. 07.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

이 논문은 LLM이 과도한 수용성과 불충분한 인식적 경계로 인해 해로운 신념에 도전하지 못한다고 주장하고, 프래그마틱 프롬프트가 안전 벤치마크 성능을 현저히 향상시킬 수 있음을 보여준다.

ABSTRACT

Large language models (LLMs) frequently fail to challenge users' harmful beliefs in domains ranging from medical advice to social reasoning. We argue that these failures can be understood and addressed pragmatically as consequences of LLMs defaulting to accommodating users' assumptions and exhibiting insufficient epistemic vigilance. We show that social and linguistic factors known to influence accommodation in humans (at-issueness, linguistic encoding, and source reliability) similarly affect accommodation in LLMs, explaining performance differences across three safety benchmarks that test models' ability to challenge harmful beliefs, spanning misinformation (Cancer-Myth, SAGE-Eval) and sycophancy (ELEPHANT). We further show that simple pragmatic interventions, such as adding the phrase "wait a minute", significantly improve performance on these benchmarks while preserving low false-positive rates. Our results highlight the importance of considering pragmatics for evaluating LLM behavior and improving LLM safety.

연구 동기 및 목표

• LLM이 과도한 수용성과 인식적 경계의 관점에서 해로운 신념에 도전하지 못하는 이유를 설명한다.
• 언어적 요인(당사자성, 인코딩, 출처 신뢰도)이 LLM의 수용에 어떤 영향을 미치는지 식별한다.
• 간단한 프래그마틱 개입이 거짓 양성을 늘리지 않으면서 안전 벤치마크 성능을 향상시킬 수 있음을 보여준다.
• 벤치마크 설계 및 프롭제스트를 위한 지침을 제공해 LLM의 안전성을 더 잘 평가하고 개선한다.

제안 방법

• 세 벤치마크(Cancer-Myth, SAGE-Eval, ELEPHANT)에서 LLM의 수용에 영향을 주는 인간의 프래그마틱 요인을 재현한다.
• 당사자성, 언어적 인코딩(전제 vs 진술), 출처 신뢰도를 조작하여 LLM 성능에 미치는 영향을 연구한다.
• 벤치마크 과제에서 여섯 가지 최첨단 LLM(세 개의 폐쇄 소스, 세 개의 오픈 소스)을 평가한다.
• 추론 시점에서 인식적 경계를 이동시키기 위한 두 가지 프래그마틱 개입(명시적 수정 지시 및 담화 표식 “wait a minute”)을 테스트한다.
• 성능에 대한 요인 효과를 정량화하기 위한 회귀 분석 및 대조 실험(예: 2x3 및 2x2 설계)을 제공한다.

Figure 1: Mean ( $\pm 95\%$ CI) benchmark scores by each factor (H1a-H1c). Higher is better for SAGE-Eval and Cancer-Myth, and lower is better for ELEPHANT (r/AITA and Subjective Statements). Each factor results in significantly higher overall performance in the expected direction for all factors. E

실험 결과

연구 질문

• RQ1 당사자성, 언어적 인코딩 및 출처 신뢰도가 인간에서와 같이 LLM 수용에 유사한 영향을 미치는가?
• RQ2 간단한 프래그마틱 개입이 인식적 경계를 이동시켜 거짓 양성을 높이지 않으면서 LLM 안전 벤치마크 성능을 향상시킬 수 있는가?
• RQ3 개입이 여러 모델에 걸쳐 서로 다른 벤치마크(Cancer-Myth, SAGE-Eval, ELEPHANT)에 어떤 영향을 미치는가?
• RQ4 LLM 안전성을 평가하고 설계하는 벤치마크 및 프롬프팅에 대한 시사점은 무엇인가?

주요 결과

• 당사자성은 안전 벤치마크에서 LLM의 성능에 가장 큰 영향을 미치는 요인이다; 먼저 전제되어 있지 않은(not-at-issue) 내용은 수정하기가 더 어렵다.
• 오해를 명시적으로 표시하거나 “wait a minute” 담화 표식을 추가하는 것이 제어된 거짓 양성 비율과 함께 벤치마크 전반의 성능을 크게 향상시킨다.
• 출처의 신뢰도 부재는 다른 신호의 효과를 약화시키며 인간의 인식적 경계 패턴과 일치한다.
• 개입은 여섯 가지 LLM에 걸쳐 큰 이득을 가져다준다(예: Cancer-Myth에서 거의 4배; SAGE-Eval에서 약 40%)).
• 벤치마크는 프래그마틱 프롬프트의 변화에 민감하므로 평가 및 설계에서 프래그래matics를 고려할 필요가 있다.

Figure 2: Mean score ( $\pm$ 95% CI) of interventions on Cancer-Myth, SAGE-Eval and ELEPHANT. Higher is better for Cancer-Myth and SAGE-Eval, closer to 0 is better for ELEPHANT. We find that both interventions overall yield significant improvements for Cancer-Myth, validation and indirectness. For f