[论文解读] MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents

Yixing Jiang, Kameron Collin Black+5 more|ArXiv.org|Jan 24, 2025

Radiomics and Machine Learning in Medical Imaging被引用 3

一句话总结

MedAgentBench 提供一个包含 100 个任务、100 名患者的合成电子健康记录基准测试，并具备符合 FHIR 的交互式环境，用于评估医疗领域的 LLM 代理。GPT-4o 在被测试的模型中整体表现领先，但可靠性仍不足以用于临床部署。

ABSTRACT

Recent large language models (LLMs) have demonstrated significant advancements, particularly in their ability to serve as agents thereby surpassing their traditional role as chatbots. These agents can leverage their planning and tool utilization capabilities to address tasks specified at a high level. However, a standardized dataset to benchmark the agent capabilities of LLMs in medical applications is currently lacking, making the evaluation of LLMs on complex tasks in interactive healthcare environments challenging. To address this gap, we introduce MedAgentBench, a broad evaluation suite designed to assess the agent capabilities of large language models within medical records contexts. MedAgentBench encompasses 300 patient-specific clinically-derived tasks from 10 categories written by human physicians, realistic profiles of 100 patients with over 700,000 data elements, a FHIR-compliant interactive environment, and an accompanying codebase. The environment uses the standard APIs and communication infrastructure used in modern EMR systems, so it can be easily migrated into live EMR systems. MedAgentBench presents an unsaturated agent-oriented benchmark that current state-of-the-art LLMs exhibit some ability to succeed at. The best model (Claude 3.5 Sonnet v2) achieves a success rate of 69.67%. However, there is still substantial space for improvement which gives the community a next direction to optimize. Furthermore, there is significant variation in performance across task categories. MedAgentBench establishes this and is publicly available at https://github.com/stanfordmlgroup/MedAgentBench , offering a valuable framework for model developers to track progress and drive continuous improvements in the agent capabilities of large language models within the medical domain.

研究动机与目标

• 为将 LLMs 作为自治医疗代理的标准化评估提供动机与能力，而不仅仅是问答式聊天机器人。
• 提供一个真实、交互式的 EHR 基准测试，反映临床工作流程和数据多样性。
• 提供可重用的代码库和基于 FHIR 的环境，以便将基准测试迁移到实际 EMR 设置。

提出的方法

• 由持证临床医生撰写的 10 类别共 100 个临床派生任务。
• 生成 100 名去識別化的患者档案，包含超过 700,000 条数据要素，以模拟真实世界的 EMR 数据。
• 构建符合 FHIR 的交互式环境（HAPI FHIR JPA）以及 Docker 化部署，便于搭建。
• 使用九个 FHIR 功能和固定交互预算（8 轮）在一个简单的代理系统中评估多种 SOTA LLM 作为代理。
• 将任务成功定义为主指标，对于查询任务进行手动参考，对于动作任务采用基于规则的健全性检查。

Figure 1: Schematic diagram of MedAgentBench architecture.

实验结果

研究问题

• RQ1 当前最先进的 LLM 在医用 EHR 场景中执行代理式任务的能力如何？
• RQ2 信息检索（查询）任务与记录修改（动作）任务的表现有何差异？
• RQ3 在作为医疗代理时，知名 LLM 的失败模式和常见错误模式是什么？
• RQ4 基于 FHIR 的交互式环境在多大程度上能够支持迁移到实际 EMR 系统以进行基准测试？
• RQ5 对于可靠、临床可部署的医疗 AI 代理，还存在哪些差距？

主要发现

• GPT-4o 在被测试的模型中总体成功率最高（总体 SR 72%；查询 SR 76%；动作 SR 68%，见表 3）。
• 大多数模型在查询任务上的表现优于动作任务，表明信息检索对代理来说相对容易。
• 不同任务类别及不同模型之间存在显著性能差异，开源权重模型在该基准中通常不如闭源权重的 API 模型。
• Gemini 2.0 Flash 的成功率明显偏低，并且经常输出无效操作或格式（如 tool_code 块或非数字输出）。
• 基准测试揭示了医疗代理的潜力，但也凸显了当前在安全、可部署的自治 EHR 自动化方面的可靠性差距。

Figure 2: Screenshot of frontend of the FHIR-compliant interactive environment.