[論文レビュー] MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents

Yixing Jiang, Kameron Collin Black+5 more|ArXiv.org|Jan 24, 2025

Radiomics and Machine Learning in Medical Imaging被引用数 3

ひとこと要約

MedAgentBench は 100 タスク、100 名の患者の合成 EHR ベンチマークを提供し、FHIR 準拠の対話型環境で医療 LLM エージェントを評価します。GPT-4o が試験モデルの中で総合パフォーマンスをリードしますが、信頼性は臨床導入にはまだ不足しています。

ABSTRACT

Recent large language models (LLMs) have demonstrated significant advancements, particularly in their ability to serve as agents thereby surpassing their traditional role as chatbots. These agents can leverage their planning and tool utilization capabilities to address tasks specified at a high level. However, a standardized dataset to benchmark the agent capabilities of LLMs in medical applications is currently lacking, making the evaluation of LLMs on complex tasks in interactive healthcare environments challenging. To address this gap, we introduce MedAgentBench, a broad evaluation suite designed to assess the agent capabilities of large language models within medical records contexts. MedAgentBench encompasses 300 patient-specific clinically-derived tasks from 10 categories written by human physicians, realistic profiles of 100 patients with over 700,000 data elements, a FHIR-compliant interactive environment, and an accompanying codebase. The environment uses the standard APIs and communication infrastructure used in modern EMR systems, so it can be easily migrated into live EMR systems. MedAgentBench presents an unsaturated agent-oriented benchmark that current state-of-the-art LLMs exhibit some ability to succeed at. The best model (Claude 3.5 Sonnet v2) achieves a success rate of 69.67%. However, there is still substantial space for improvement which gives the community a next direction to optimize. Furthermore, there is significant variation in performance across task categories. MedAgentBench establishes this and is publicly available at https://github.com/stanfordmlgroup/MedAgentBench , offering a valuable framework for model developers to track progress and drive continuous improvements in the agent capabilities of large language models within the medical domain.

研究の動機と目的

• 標準化された評価を実現・促進し、QA チャットボットを超えた自律的な医療エージェントとしての LLM の評価を可能にする。
• 臨床ワークフローとデータ多様性を反映した現実的で対話型の EHR ベンチマークを提供する。
• ベンチマークをライブ EMR 設定へ移行するための再利用可能なコードベースと FHIR ベースの環境を提供する。

提案手法

• licensed clinicians によって作成された 10 カテゴリに跨る 100 の臨床 Derived タスクを作成する。
• 実世界の EMR データを模擬するために 70 万以上のデータ要素を含む 100 の識別情報を除去した患者プロファイルを生成する。
• FHIR 準拠の対話型環境（HAPI FHIR JPA）を構築し、セットアップを容易にする Docker 化配備を行う。
• 9 個の FHIR 関数と固定の対話予算（8 ラウンド）を用いた単純なエージェントシステムで、複数の SOTA LLM をエージェントとして評価する。
• タスクの成功を主要指標として定義し、クエリタスクには手動参照を、アクションタスクにはルールベースの整合性チェックを適用する。

Figure 1: Schematic diagram of MedAgentBench architecture.

実験結果

リサーチクエスチョン

• RQ1 現在の最先端 LLM は医療 EHR 設定でエージェント型タスクを実行する能力がどの程度か。
• RQ2 情報取得（クエリ）タスクと記録変更（アクション）タスクの間で性能はどのように異なるか。
• RQ3 医療エージェントとして行動する際の著名な LLM の失敗モードと一般的なエラー傾向は何か。
• RQ4 FHIR ベースの対話型環境はベンチマークのために現行 EMR システムへの移行をどの程度支援できるか。
• RQ5 信頼性が高く臨床的に導入可能な医療 AI エージェントに残るギャップは何か。

主な発見

• GPT-4o は試験されたモデルの中で最も高い総合成功率を達成（全体 SR 72%、クエリ SR 76%、アクション SR 68% は Table 3 参照）。
• ほとんどのモデルはクエリベースのタスクでアクションベースのタスクよりも高い性能を示し、情報検索がエージェントにとって相対的に容易であることを示唆している。
• パフォーマンスはタスクカテゴリやモデル間で大きく変動し、オープンウェイトモデルはこのベンチマークで一般にクローズドウェイト API モデルより劣る傾向。
• Gemini 2.0 Flash は顕著に低い成功率を示し、頻繁に無効なアクションや形式を出力（例：tool_code ブロックや非数値出力）する。
• このベンチマークは医療エージェントの潜在能力を顕示する一方で、安全かつ導入準備が整った自律的 EHR 自動化には現状の信頼性ギャップを強調している。

Figure 2: Screenshot of frontend of the FHIR-compliant interactive environment.