Skip to main content
QUICK REVIEW

[论文解读] Knowing When to Abstain: Medical LLMs Under Clinical Uncertainty

Sravanthi Machcha, Sushrita Yerra|arXiv (Cornell University)|Jan 18, 2026
Topic ModelingComputer Science被引用 0
一句话总结

MedAbstain 基准通过一致性预测和扰动分析来研究医学 MCQA 的弃权,旨在提升医学 LLM 的安全部署。

ABSTRACT

Current evaluation of large language models (LLMs) overwhelmingly prioritizes accuracy; however, in real-world and safety-critical applications, the ability to abstain when uncertain is equally vital for trustworthy deployment. We introduce MedAbstain, a unified benchmark and evaluation protocol for abstention in medical multiple-choice question answering (MCQA) -- a discrete-choice setting that generalizes to agentic action selection -- integrating conformal prediction, adversarial question perturbations, and explicit abstention options. Our systematic evaluation of both open- and closed-source LLMs reveals that even state-of-the-art, high-accuracy models often fail to abstain with uncertain. Notably, providing explicit abstention options consistently increases model uncertainty and safer abstention, far more than input perturbations, while scaling model size or advanced prompting brings little improvement. These findings highlight the central role of abstention mechanisms for trustworthy LLM deployment and offer practical guidance for improving safety in high-stakes applications.

研究动机与目标

  • 通过在不确定性情况下实现弃权来促进在高风险医学场景中对 LLM 的安全部署。
  • 开发一个统一基准(MedAbstain)来评估医学 MCQA 中的弃权-不确定性。
  • 将一致性预测与弃权和扰动相结合,以量化开源与闭源模型在不确定性中的表现。
  • 评估模型规模、提示和推理模式如何影响医学问答中的弃权与校准。

提出的方法

  • 创建带显式弃权选项(NA、A、NAP、AP)的原始和修改后的 MCQA 变体。
  • 使用一致性预测来生成基于不确定性的预测集,覆盖率目标为 90%(alpha=0.1)。
  • 在零-shot、少量示例和链式推理提示设置下评估开源和闭源 LLMs。
  • 利用校准与测试切分(30% 校准集,70% 测试集)计算 CP 分数(LAC 与 APS)及集合大小。
  • 通过信息移除的对抗扰动来模拟临床缺失数据并分析弃权反应。

实验结果

研究问题

  • RQ1在医学 MCQA 中提供显式弃权选项如何影响模型的不确定性和弃权行为?
  • RQ2输入扰动、模型规模和提示策略如何影响医学 LLM 的不确定性与安全弃权?
  • RQ3一致性预测是否能为医学问答中的弃权提供稳健的、模型无关的不确定性量化?
  • RQ4在临床不确定性下,开放式与闭合式 LLM 的弃权行为有何差异?

主要发现

  • 弃权选项在所有数据集上都能持续增加模型不确定性并实现更安全的弃权。
  • 扰动问题对不确定性的影响比启用弃权小。
  • 扩大模型规模或进行指令微调并不能可靠地提升弃权性能。
  • 一致性预测提供稳健的、不确定性的量化并能识别过度自信的输出。
  • 思维方式(CoT)对准确性和弃权的影响有限;对于某些闭源模型存在少量显著例外。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。