[论文解读] MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making

Yubin Kim, Chanwoo Park+8 more|arXiv (Cornell University)|Apr 22, 2024

Business Process Modeling and Analysis被引用 8

一句话总结

MDAgents 根据医学查询的复杂性，自适应分配单独、MDT 或 ICT 协作在多家LLM之间，提高在7个多模态医学基准中的5个任务上的准确性。

ABSTRACT

Foundation models are becoming valuable tools in medicine. Yet despite their promise, the best way to leverage Large Language Models (LLMs) in complex medical tasks remains an open question. We introduce a novel multi-agent framework, named Medical Decision-making Agents (MDAgents) that helps address this gap by automatically assigning a collaboration structure to a team of LLMs. The assigned solo or group collaboration structure is tailored to the medical task at hand, emulating real-world medical decision-making processes adapted to tasks of varying complexities. We evaluate our framework and baseline methods using state-of-the-art LLMs across a suite of real-world medical knowledge and medical diagnosis benchmarks, including a comparison of LLMs' medical complexity classification against human physicians. MDAgents achieved the best performance in seven out of ten benchmarks on tasks requiring an understanding of medical knowledge and multi-modal reasoning, showing a significant improvement of up to 4.2% (p < 0.05) compared to previous methods' best performances. Ablation studies reveal that MDAgents effectively determines medical complexity to optimize for efficiency and accuracy across diverse medical tasks. Notably, the combination of moderator review and external medical knowledge in group collaboration resulted in an average accuracy improvement of 11.8%. Our code can be found at https://github.com/mitmedialab/MDAgents.

研究动机与目标

• 激发并实现 LLM 之间的自适应协作，以映照真实世界的医学决策。
• 定义 Medical Complexity Check，将查询分为低、中、高复杂度。
• 在推理阶段设计招募与编排机制，以形成单独、MDT 或 ICT 配置。
• 在多样的多模态医学基准上，评估 MDAgents 相对于单独以及群组基线的表现。
• 分析协作式 AI 在医学决策支持中的鲁棒性、效率和一致性动力学。

提出的方法

• 四阶段框架：医疗复杂性检查、专家招募、推理过程和最终决策制定。
• 基于审核的复杂性分类，将查询映射到低、适中、或高复杂度水平。
• 动态招募代理进入单独、MDT（多学科团队）或 ICT（综合照护团队）结构。
• 在 MDT 情景中，进行协作讨论、迭代反馈和有 moderator 的引导；最终通过集成或共识机制做出决策。
• 在单独推理中引入提示技术（如 Chain-of-Thought、Self-Consistency、Medprompt），以及在群体协作中采用结构化方式。
• 使用涵盖文本、图像+文本、视频+文本模态的七个医学基准进行评估（MedQA、MedMCQA、PubMedQA、DDxPlus、PMC-VQA、Path-VQA、MedVidQA）。

实验结果

研究问题

• RQ1 一个自适应协作框架是否能够在多样化的医疗任务中，相较于单独或静态群体方法，提升医学决策的准确性？
• RQ2 在医疗 AI 推理中，改变协作代理数量如何影响准确性和 API 成本效率？
• RQ3 模态（文本、图像、视频）对多代理医学推理中的共识动力学和决策质量有何影响？
• RQ4 由主持人驱动的 MDT/ICT 流程在高复杂性医疗案例中是否能产生稳健的最终决策？
• RQ5 该框架在不同临床情景下对温度（temperature）变化和提示策略的鲁棒性有多大？

主要发现

• 自适应的 MDAgents 在 7 个医学基准中有 5 个达到最佳表现，包括多模态任务。
• 该框架通过调整协作代理数量（通常为3）来在性能与 API 使用之间取得平衡，从而优化准确性和效率。
• 共识动力学显示跨模态的代理意见趋于收敛，在文本+视频设定中收敛更快。
• 消融研究证实了面向复杂度的招募以及对高复杂性情形的迭代 MDT 精炼的价值。
• 该方法对温度变化具有鲁棒性，在 solo/group 基线表现不佳的情况下仍保持高准确性。