Skip to main content
QUICK REVIEW

[논문 리뷰] Knowing When to Abstain: Medical LLMs Under Clinical Uncertainty

Sravanthi Machcha, Sushrita Yerra|arXiv (Cornell University)|2026. 01. 18.
Topic ModelingComputer Science인용 수 0
한 줄 요약

MedAbstain은 의학 MCQA에서 abstention에 대한 통합 벤치마크를 도입하여, 컨포멀 예측, 적대적 섭동(adversarial perturbations), 그리고 명시적 abstention을 결합해 LLM이 언제 대답을 삼가야 하는지 연구합니다. 연구 결과, abstention 옵션은 모델의 불확실성과 더 안전한 abstention을 신뢰성 있게 증가시키며 입력 섭동보다 더 큰 효과를 보입니다.

ABSTRACT

Current evaluation of large language models (LLMs) overwhelmingly prioritizes accuracy; however, in real-world and safety-critical applications, the ability to abstain when uncertain is equally vital for trustworthy deployment. We introduce MedAbstain, a unified benchmark and evaluation protocol for abstention in medical multiple-choice question answering (MCQA) -- a discrete-choice setting that generalizes to agentic action selection -- integrating conformal prediction, adversarial question perturbations, and explicit abstention options. Our systematic evaluation of both open- and closed-source LLMs reveals that even state-of-the-art, high-accuracy models often fail to abstain with uncertain. Notably, providing explicit abstention options consistently increases model uncertainty and safer abstention, far more than input perturbations, while scaling model size or advanced prompting brings little improvement. These findings highlight the central role of abstention mechanisms for trustworthy LLM deployment and offer practical guidance for improving safety in high-stakes applications.

연구 동기 및 목표

  • 고위험 의료 환경에서 불확실성 하에 abstention을 가능하게 하여 LLM의 안전한 배치를 촉진한다.
  • 의학 MCQA 평가를 위한 단일 벤치마크(MedAbstain) 개발
  • 컨포멀 예측을 abstention 및 perturbation과 결합해 오픈 모델과 폐쇄 모델 전반의 불확실성을 정량화한다.
  • 모델의 크기, 프롬프트, 추론 모드가 의료 QA에서의 abstention 및 보정(calibration)에 어떤 영향을 미치는지 평가한다.

제안 방법

  • 명시적 abstention 옵션(NA, A, NAP, AP)을 포함한 원본 MCQA 및 수정 버전을 생성한다.
  • 90% 커버리지 목표(alpha=0.1)로 불확실성 기반 예측 집합을 생성하기 위해 컨포멀 예측을 사용한다.
  • 제로샷, few-shot, 체인-오브-생각(CoT) 프롬프트 설정에서 오픈 소스 및 폐쇄 소스 LLM을 평가한다.
  • calibration 및 test 분할(30% calibration, 70% test)을 활용해 CP 점수(LAC 및 APS)와 세트 크기를 계산한다.
  • 의료 임상 데이터 누락을 시뮬레이션하기 위해 정보 제거를 통한 적대적 섭동을 도입하고 거부 응답을 분석한다.

실험 결과

연구 질문

  • RQ1명시적 abstention 옵션 제공이 의학 MCQA에서 모델의 불확실성 및 거부 행동에 어떤 영향을 미치는가?
  • RQ2입력 섭동, 모델 크기, 프롬프트 전략이 의료 LLM에서의 불확실성과 안전한 거부에 어떤 영향을 주는가?
  • RQ3컨포멀 예측이 의료 QA의 거부에 대해 견고한 모델 비의존적 불확실성 정량화를 제공할 수 있는가?
  • RQ4임상 불확실성 하에서 오픈형 및 폐쇄형 LLM 간 거부 행동의 차이가 나타나는가?

주요 결과

  • 거부 옵션은 데이터셋 전반에서 모델의 불확실성과 더 안전한 거부를 일관되게 증가시킨다.
  • 질문에 대한 섭동은 거부를 가능하게 하는 것보다 불확실성에 미치는 영향이 작다.
  • 모델 크기나 지시 학습(instruction-tuning)을 확대해도 거부 성능이 신뢰할 만큼 향상되지는 않는다.
  • 컨포멀 예측은 견고한 불확실성 정량화를 제공하고 과신(outputs)을 식별한다.
  • 생각 모드(CoT)의 정확도와 거부에 주는 영향은 제한적이다; 일부 폐쇄 모델에 대해 예외가 존재한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.