[论文解读] MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

Praveen K Kanithi, Christophe Clément+9 more|arXiv (Cornell University)|Sep 11, 2024

Scientific Computing and Data Management被引用 6

一句话总结

MEDIC 引入一个模块化框架，用以在五个维度上评估临床 LLM，并新增一个 Cross-Examination Framework 来评估信息保真度，揭示知识-执行差距与安全性分歧，从而抑制单一模型的主导地位。

ABSTRACT

While Large Language Models (LLMs) achieve superhuman performance on standardized medical licensing exams, these static benchmarks have become saturated and increasingly disconnected from the functional requirements of clinical workflows. To bridge the gap between theoretical capability and verified utility, we introduce MEDIC, a comprehensive evaluation framework establishing leading indicators across various clinical dimensions. Beyond standard question-answering, we assess operational capabilities using deterministic execution protocols and a novel Cross-Examination Framework (CEF), which quantifies information fidelity and hallucination rates without reliance on reference texts. Our evaluation across a heterogeneous task suite exposes critical performance trade-offs: we identify a significant knowledge-execution gap, where proficiency in static retrieval does not predict success in operational tasks such as clinical calculation or SQL generation. Furthermore, we observe a divergence between passive safety (refusal) and active safety (error detection), revealing that models fine-tuned for high refusal rates often fail to reliably audit clinical documentation for factual accuracy. These findings demonstrate that no single architecture dominates across all dimensions, highlighting the necessity of a portfolio approach to clinical model deployment. As part of this investigation, we released a public leaderboard on Hugging Face.\footnote{https://huggingface.co/spaces/m42-health/MEDIC-Benchmark}

研究动机与目标

• 推动超越静态医学考试的领先指标，以实现现实世界临床应用的需求与实用性。
• 定义一个涵盖五个临床维度的模块化框架（MEDIC），以评估 LLM 的性能。
• 融入应用任务基准（如 EHRSQL、MedCalc、MEDEC）以及一个无参考的 Cross-Examination Framework，以对保真度进行压力测试。
• 证明没有单一模型在所有维度上处于领先，并倡导采用组合型模型组合的策略。

提出的方法

• 定义五个临床维度：医学推理、伦理与偏见关注、数据与语言理解、上下文学习，以及临床安全。
• 对结构化任务使用确定性指标（如执行准确度、严格匹配），并对开放式任务使用 Cross-Examination Framework 以量化覆盖率、符合性、一致性与简明性。
• 在异质任务组合上进行评估，包括 MedCalc、EHRSQL、DischargeMe、ACI-Bench、MEDEC、MedQA、MedMCQA、PubMedQA 等等。
• 应用 LLM 作为评审进行成对比对并使用 Elo 评分对开放式回答进行排序，以在多个模型之间确保评审一致性。
• 通过对比静态知识基准与运行任务表现，分析知识-执行差距。

实验结果

研究问题

• RQ1 参数量更大或领域特定微调是否会在 MEDIC 的各维度上转化为普遍的临床能力？
• RQ2 模型在运行型临床任务（如临床计算、SQL 生成）上与静态知识任务（如 USMLE 风格问题）相比的表现如何？
• RQ3 对被动拒绝的安全对齐在临床文本审计中的主动安全（错误检测）上能否有效转化？
• RQ4 一个无参考的跨审框架是否能对开放式临床输出的事实一致性与覆盖度进行可靠评估？

主要发现

• 模型能力是异质且依赖任务的；没有一种架构在所有 MEDIC 任务上占优。
• 静态知识熟练度并不能可靠预测在如 MedCalc 或 EHRSQL 等运行性任务中的功能执行。
• 更大模型可能对源文档的符合性较低，尽管更流畅，可能出现更多幻觉。
• 被动安全（拒绝）在各模型间呈饱和趋势，但主动安全（错误检测）表现显著下降且存在较大变异性。
• 开放式查询的排名对评审选择具有鲁棒性，在成对模型比较中评审间的一致性很高。