[论文解读] MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning

Shuyue Stella Li, Vidhisha Balachandran+5 more|arXiv (Cornell University)|Jun 3, 2024

Artificial Intelligence in Law被引用 4

一句话总结

本文提出 MediQ，一种用于临床推理中交互式提问大语言模型的框架，通过患者系统与自适应专家系统模拟真实的医患对话。结果表明，如 GPT-3.5 和 Llama-3 等当前最先进大模型在主动信息获取方面表现不佳，但通过引入一种新型置信度估计的回避模块，性能提升 22.3%，尽管仍落后于提供完整信息的基线模型。

ABSTRACT

Users typically engage with LLMs interactively, yet most existing benchmarks evaluate them in a static, single-turn format, posing reliability concerns in interactive scenarios. We identify a key obstacle towards reliability: LLMs are trained to answer any question, even with incomplete context or insufficient knowledge. In this paper, we propose to change the static paradigm to an interactive one, develop systems that proactively ask questions to gather more information and respond reliably, and introduce an benchmark - MediQ - to evaluate question-asking ability in LLMs. MediQ simulates clinical interactions consisting of a Patient System and an adaptive Expert System; with potentially incomplete initial information, the Expert refrains from making diagnostic decisions when unconfident, and instead elicits missing details via follow-up questions. We provide a pipeline to convert single-turn medical benchmarks into an interactive format. Our results show that directly prompting state-of-the-art LLMs to ask questions degrades performance, indicating that adapting LLMs to proactive information-seeking settings is nontrivial. We experiment with abstention strategies to better estimate model confidence and decide when to ask questions, improving diagnostic accuracy by 22.3%; however, performance still lags compared to an (unrealistic in practice) upper bound with complete information upfront. Further analyses show improved interactive performance with filtering irrelevant contexts and reformatting conversations. Overall, we introduce a novel problem towards LLM reliability, an interactive MediQ benchmark and a novel question-asking system, and highlight directions to extend LLMs' information-seeking abilities in critical domains.

研究动机与目标

• 解决在信息不完整时大语言模型在临床推理中不可靠的问题。
• 模拟患者提供不完整数据的临床咨询场景，要求临床医生主动寻求缺失细节。
• 开发一个评估大语言模型在交互式、多轮临床推理中表现的基准，而非静态的单轮问答。
• 探究大语言模型是否以及如何通过提问而非猜测来适应不确定性。
• 识别当前大语言模型在医疗诊断过程中进行可靠、自适应信息获取方面面临的关键挑战与性能差距。

提出的方法

• MediQ 框架由一个模拟患者行为的患者系统组成，该系统基于患者记录中的事实回忆回答后续问题。
• 专家系统作为医生助手，在每一轮决策是否回答或请求更多信息，依据其置信度。
• 通过仅初始提供部分患者信息，将 MedQA 和 Craft-MD 转换为交互式设置。
• 引入一种新型回避模块，以提升置信度估计与是否应继续提问的决策能力。
• 测试多种提示工程策略（系统提示与响应提示），以评估不同模型配置下的鲁棒性与一致性。
• 通过在不同医学专科与问题难度层级下的诊断准确率进行评估，并与提供完整信息的上限基线进行比较。

Figure 1 : Information Seeking Task. In standard medical QA tasks (left), all necessary information is given to the assistant model at the same time. When given partial information, current LLMs only provides general responses (middle). In a more realistic scenario (right), the presentation of patie

实验结果

研究问题

• RQ1 当前最先进大语言模型能否在信息不完整时通过主动提问可靠地参与交互式临床推理？
• RQ2 大语言模型在交互式临床推理中的表现与在提供完整信息的单轮问答中的表现相比如何？
• RQ3 不同的提示工程策略（系统提示与响应提示）对大语言模型在信息获取任务中的可靠性与一致性有何影响？
• RQ4 医学问题的难度与专科类型如何影响交互式信息获取的收益？
• RQ5 哪些组件（如置信度估计或上下文过滤）最显著地提升了交互式大语言模型的诊断准确率？

主要发现

• 直接提示最先进大语言模型在信息有限时提问，相比使用相同有限上下文的单轮推理，诊断准确率相对下降 11.3%。
• 引入基于置信度的回避模块后，诊断准确率在所有数据集上平均提升 22.3%，证明了对不确定性的主动处理具有显著价值。
• 尽管性能有所提升，但最佳交互式专家系统在提供完整信息时仍落后于上限基线 10.3%。
• 在如眼科等高难度专科中，性能提升最为显著，准确率从 18.2% 提升至 45.5%。
• 提示变体如生成推理过程可适度提升性能，而答案重排则无显著影响，表明对某些偏差具有鲁棒性。
• 研究发现，当上下文信息稀疏时，大语言模型倾向于依赖参数化知识，导致对最常见选项的高一致度（50.0%），从而损害诊断准确率。

Figure 2 : The MediQ Framework. MediQ operationalizes a realistic dynamic medical consultation process. It consists of a Patient system and an Expert system to evaluate medical info-seeking.