[论文解读] Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents

Junkai Li, Yunghwei Lai+9 more|arXiv (Cornell University)|May 5, 2024

Multi-Agent Systems and Negotiation被引用 33

一句话总结

本文提出 Agent Hospital，一个由 LLM 支持的医院仿真系统，在其中自治的住院医生和医务人员代理通过 MedAgent-Zero 在模拟疾病发作与治疗过程中演化，在模拟任务和现实世界的 Medicare 基准测试上实现了强劲表现，且无需标注数据。

ABSTRACT

The recent rapid development of large language models (LLMs) has sparked a new wave of technological revolution in medical artificial intelligence (AI). While LLMs are designed to understand and generate text like a human, autonomous agents that utilize LLMs as their "brain" have exhibited capabilities beyond text processing such as planning, reflection, and using tools by enabling their "bodies" to interact with the environment. We introduce a simulacrum of hospital called Agent Hospital that simulates the entire process of treating illness, in which all patients, nurses, and doctors are LLM-powered autonomous agents. Within the simulacrum, doctor agents are able to evolve by treating a large number of patient agents without the need to label training data manually. After treating tens of thousands of patient agents in the simulacrum (human doctors may take several years in the real world), the evolved doctor agents outperform state-of-the-art medical agent methods on the MedQA benchmark comprising US Medical Licensing Examination (USMLE) test questions. Our methods of simulacrum construction and agent evolution have the potential in benefiting a broad range of applications beyond medical AI.

研究动机与目标

• 展示由自治 LLM 代理驱动的可扩展医院流程仿真。
• 通过仿真中的自监督交互，使医生代理进化。
• 证明 Agent Hospital 获取的知识可转化为现实世界的 Medicare 基准。
• 将 MedAgent-Zero 提议为一种数据自由的进化策略，利用医疗记录与经验。

提出的方法

• 创建一个包含驻院医师和医务专业人员代理的医院沙盒，驱动 LLM（GPT-3.5）以及多区域医院布局。
• 定义三项医疗任务（体检/评估决策、诊断、治疗方案）以评估医生代理。
• 开发 MedAgent-Zero，具备 Medical Record Library 与 Experience Base，实现无需人工标注数据的自我进化。
• 使用密集检索获取相关记录和原则，以指导仿真内的推理。
• 生成一个约 10k 条记录的仿真医疗数据集用于训练，以及一个较小的测试集（500）用于评估。
• 在仿真患者互动和 MedQA 现实世界数据集的一个子集上评估医生代理。

实验结果

研究问题

• RQ1 在没有标注数据的情况下，具进化能力的医疗代理的医院仿真系统能否随时间提升治疗效果？
• RQ2 Agent Hospital 训练的医生代理的学习能力能否迁移到现实世界的 Medicare 相关基准？
• RQ3 MedAgent-Zero 在通过医疗记录与经验实现自我进化方面的有效性如何？

主要发现

• 医生代理在仿真中的体检准确率为 88%，诊断 95.6%，治疗 77.6%。
• MedAgent-Zero 在数天内实现数万例仿真案例，而真实医生需要数年。
• 演化后的医生代理在 MedQA 现实世界数据集的子集上达到最先进的准确度（93.06%），且无需手动标注。
• Agent Hospital 表明基于仿真的进化可以提升任务表现并迁移到现实世界基准。