[论文解读] AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator

Zhihao Fan, Jialong Tang+6 more|arXiv (Cornell University)|Feb 15, 2024

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

AI Hospital 构建了一个实时、互动的医疗诊断环境，包含多智能体 LLM 驱动的实习医生、患者、审查员和医疗主任，以及一个多视角医疗评估基准和一个争议解决协作机制，以提高诊断准确性。

ABSTRACT

Artificial intelligence has significantly advanced healthcare, particularly through large language models (LLMs) that excel in medical question answering benchmarks. However, their real-world clinical application remains limited due to the complexities of doctor-patient interactions. To address this, we introduce extbf{AI Hospital}, a multi-agent framework simulating dynamic medical interactions between \emph{Doctor} as player and NPCs including \emph{Patient}, \emph{Examiner}, \emph{Chief Physician}. This setup allows for realistic assessments of LLMs in clinical scenarios. We develop the Multi-View Medical Evaluation (MVME) benchmark, utilizing high-quality Chinese medical records and NPCs to evaluate LLMs' performance in symptom collection, examination recommendations, and diagnoses. Additionally, a dispute resolution collaborative mechanism is proposed to enhance diagnostic accuracy through iterative discussions. Despite improvements, current LLMs exhibit significant performance gaps in multi-turn interactions compared to one-step approaches. Our findings highlight the need for further research to bridge these gaps and improve LLMs' clinical diagnostic capabilities. Our data, code, and experimental results are all open-sourced at \url{https://github.com/LibertFan/AI_Hospital}.

研究动机与目标

• 通过交互式多智能体仿真，推动将 LLMs 融入实时临床诊断。
• 提供一个真实世界类似的环境，包含患者、审查员、实习医生和医疗主任等角色，以评估 LLMs。
• 引入 MVME 基准，在互动场景中评估症状识别、检查的全面性和诊断质量。
• 展示在医疗主任监督下的争议解决协作机制，以提升诊断准确性。

提出的方法

• 使用高质量的中文病历构建包含四个角色（实习医生、患者、审查员、医疗主任）的AI Hospital。
• 定义三方互动工作流：患者描述症状，实习生提问，审查员执行检查，主任监督评估。
• 创建 MVME 基准，以评估症状掌握、检查的全面性和诊断报告质量。
• 在医疗主任的指导下，多个实习生迭代讨论以达成共识的争议解决协作。
• 使用 GPT-4 作为评估引擎，并通过基于链接的 ICD-10 术语映射为评估结果提供依据。
• 在多种 LLMs 中，将单步（非互动）诊断与互动协作设置进行比较，以量化交互影响和协作收益。

实验结果

研究问题

• RQ1 LLMs 是否能够在模拟真实世界会诊的多智能体环境中执行实时、互动的临床诊断？
• RQ2 在医疗主任指导下的争议解决协作是否比非协作方法提高诊断准确性？
• RQ3 在 AI Hospital 中，不同的 LLM 在症状收集、检查选择和诊断报告方面的表现如何？
• RQ4 增加更多实习生对协作诊断的诊断性能有何影响？

主要发现

• 互动协作在诊断准确性方面优于单一模型的一次性基线。
• 三名实习生的协作产生的诊断指标高于两名实习生，凸显团队合作的优势。
• 在医疗主任引导下的争议解决加速达成共识并改善评估结果。
• 基于 GPT-4 的单步诊断设定一个上限；在某些指标上，使用多模型的互动协作可以超过单独的 GPT-4。
• 人工评估在多个模型中的患者-审查互动显示高可靠性（超过 98%），表明互动设置的鲁棒性。
• 争议解决机制减少达成共识所需的轮次。