[논문 리뷰] MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents

Yixing Jiang, Kameron Collin Black외 5명|ArXiv.org|2025. 01. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 3

한 줄 요약

MedAgentBench는 100-task, 100-patient 합성 EHR 벤치마크를 FHIR 호환 대화형 환경에서 제공하여 의학 LLM 에이전트를 평가합니다. GPT-4o가 테스트 모델 중 전체 성능을 주도하지만, 임상 배치에 필요한 신뢰성은 여전히 부족합니다.

ABSTRACT

Recent large language models (LLMs) have demonstrated significant advancements, particularly in their ability to serve as agents thereby surpassing their traditional role as chatbots. These agents can leverage their planning and tool utilization capabilities to address tasks specified at a high level. However, a standardized dataset to benchmark the agent capabilities of LLMs in medical applications is currently lacking, making the evaluation of LLMs on complex tasks in interactive healthcare environments challenging. To address this gap, we introduce MedAgentBench, a broad evaluation suite designed to assess the agent capabilities of large language models within medical records contexts. MedAgentBench encompasses 300 patient-specific clinically-derived tasks from 10 categories written by human physicians, realistic profiles of 100 patients with over 700,000 data elements, a FHIR-compliant interactive environment, and an accompanying codebase. The environment uses the standard APIs and communication infrastructure used in modern EMR systems, so it can be easily migrated into live EMR systems. MedAgentBench presents an unsaturated agent-oriented benchmark that current state-of-the-art LLMs exhibit some ability to succeed at. The best model (Claude 3.5 Sonnet v2) achieves a success rate of 69.67%. However, there is still substantial space for improvement which gives the community a next direction to optimize. Furthermore, there is significant variation in performance across task categories. MedAgentBench establishes this and is publicly available at https://github.com/stanfordmlgroup/MedAgentBench , offering a valuable framework for model developers to track progress and drive continuous improvements in the agent capabilities of large language models within the medical domain.

연구 동기 및 목표

• LLMs를 QA 챗봇을 넘어서 자율 의학 에이전트로 표준화된 평가를 동기부여하고 가능하게 한다.
• 임상 워크플로우와 데이터 다양성을 반영하는 현실적이고 대화형인 EHR 벤치마크를 제공한다.
• 벤치마크를 실제 EMR 시스템으로 이식하기 위한 재사용 가능한 코드베이스와 FHIR 기반 환경을 제공한다.

제안 방법

• 공인 임상의가 작성한 10개 범주에 걸친 100개의 임상적으로 파생된 작업을 생성한다.
• 실제 EMR 데이터를 시뮬레이션하기 위해 700,000개 이상 데이터 요소를 가진 100개의 비식별화된 환자 프로필을 생성한다.
• FHIR-호환 대화형 환경(HAPI FHIR JPA) 구축 및 손쉬운 설정을 위한 Docker화 배포를 제공한다.
• 9개의 FHIR 함수와 고정된 상호작용 예산(8 라운드)을 갖춘 간단한 에이전트 시스템을 사용하여 다수의 SOTA LLM을 에이전트로 평가한다.
• 작업 성공을 주요 지표로 정의하고 쿼리 작업은 수동 참조, 액션 작업은 규칙 기반의 타당성 점검으로 수행한다.

Figure 1: Schematic diagram of MedAgentBench architecture.

실험 결과

연구 질문

• RQ1 의료 EHR 설정에서 최첨단 LLM이 에이전트 스타일 작업을 수행하는 능력이 어느 정도인가?
• RQ2 정보 검색(query) 작업과 레코드 수정(action) 작업 간 성능 차이는 어떻게 나타나는가?
• RQ3 의료 에이전트로 동작할 때 주요 LLM의 실패 모드와 일반적인 오류 패턴은 무엇인가?
• RQ4 FHIR 기반 대화형 환경이 벤치마킹을 위해 실제 EMR 시스템으로의 이관을 어느 정도 지원할 수 있는가?
• RQ5 신뢰할 수 있고 임상적으로 배치 가능한 의료 AI 에이전트를 위한 남은 격차는 무엇인가?

주요 결과

• GPT-4o는 테스트된 모델 중 가장 높은 전체 성공률을 달성했다(테이블 3 기준 전체 SR 72%; 쿼리 SR 76%; 액션 SR 68%).
• 대부분의 모델은 액션 기반 작업보다 쿼리 기반 작업에서 더 잘 수행하여 정보 검색이 대리인에게 상대적으로 더 쉽다는 것을 시사한다.
• 작업 범주 간 및 모델 간에 성능 차이가 상당하며, 이 벤치마크에서 일반적으로 오픈 가중치 모델이 폐쇄 가중치 API 모델보다 성능이 떨어진다.
• Gemini 2.0 Flash는 현저히 낮은 성공률을 보이며 자주 잘못된 액션이나 형식을 출력한다(예: tool_code 블록 또는 비숫자 출력).
• 벤치마크는 의료 에이전트의 비트리비얼한 잠재력을 드러내지만 안전하고 배포-ready한 자동 EHR 자동화를 위한 현재 신뢰성 격차를 강조한다.

Figure 2: Screenshot of frontend of the FHIR-compliant interactive environment.