[論文レビュー] AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments

Samuel Schmidgall, Rojin Ziaei+4 more|arXiv (Cornell University)|May 13, 2024

Impact of AI and Big Data on Business and Society被引用数 18

ひとこと要約

AgentClinic は、AI エージェントを模擬臨床環境で評価するオープンソースの多模态・対話ベンチマークを提供し、診断の正確性、バイアス、そして人間が判断するリアリズムを分析します。

ABSTRACT

Evaluating large language models (LLM) in clinical scenarios is crucial to assessing their potential clinical utility. Existing benchmarks rely heavily on static question-answering, which does not accurately depict the complex, sequential nature of clinical decision-making. Here, we introduce AgentClinic, a multimodal agent benchmark for evaluating LLMs in simulated clinical environments that include patient interactions, multimodal data collection under incomplete information, and the usage of various tools, resulting in an in-depth evaluation across nine medical specialties and seven languages. We find that solving MedQA problems in the sequential decision-making format of AgentClinic is considerably more challenging, resulting in diagnostic accuracies that can drop to below a tenth of the original accuracy. Overall, we observe that agents sourced from Claude-3.5 outperform other LLM backbones in most settings. Nevertheless, we see stark differences in the LLMs' ability to make use of tools, such as experiential learning, adaptive retrieval, and reflection cycles. Strikingly, Llama-3 shows up to 92% relative improvements with the notebook tool that allows for writing and editing notes that persist across cases. To further scrutinize our clinical simulations, we leverage real-world electronic health records, perform a clinical reader study, perturb agents with biases, and explore novel patient-centric metrics that this interactive environment firstly enables.

研究の動機と目的

• AI を静的な QA ベンチマークを超えた連続的・対話的臨床意思決定の評価へ動機づける。
• 患者、医師、測定、モデレーターエージェントを用いるオープンベンチマーク（AgentClinic-MedQA および AgentClinic-NEJM）を提供する。
• 認知的・暗黙的バイアスをエージェントに組み込み、それらが診断と患者の認識に与える影響を研究する。
• 医師エージェントとしての異なる LLM のパフォーマンスと、患者言語モデルが結果に与える影響を評価する。
• 現実性と共感を評価するための人間の臨床医の注釈を提供する。

提案手法

• 役割別プロンプトと構造化されたシナリオデータへのアクセスを持つ4つの言語エージェント（患者、医師、測定、モデレーター）を作成する。
• USMLE由来の質問（MedQA）とNEJMのケースを用いて、医師-患者対話のOSCE風・構造化JSONシナリオを構築する。
• 医師および患者エージェントへの認知的・暗黙的バイアスプロンプトを導入し、正確性と患者の認識への影響を測定する。
• 単一モード対話（AgentClinic-MedQA）と多模态画像＋対話（AgentClinic-NEJM）設定を、異なるLLMsで評価する。
• GPT-4 と Mixtral-8x7B の間で、正確性と認識指標を比較するバイアス分析を実施する。
• モデレーターを組み込み、非構造的な医師の出力を解析して診断の正確さを判定する。

Figure 1: Composing and running language agents in AgentClinic. (Left) Agents are composed of several elements in AgentClinic: an LLM backbone, context, a role, and potential biases. Each of these different elements can be modified to create an unlimited number of unique language agents that can act

実験結果

リサーチクエスチョン

• RQ1 AgentClinic-MedQA で最先端の LLM は医師-患者対話から正確に診断できるか？
• RQ2 医師および患者エージェントの認知的・暗黙的バイアスは診断の正確さと患者の認識にどう影響するか？
• RQ3 患者エージェントの基盤言語モデルは診断の成功と対話のダイナミクスに影響を与えるか？
• RQ4 AgentClinic での限られた対話ターン数と過剰なターン数が医師の診断正確さにどう影響するか？
• RQ5 多模态画像データ（AgentClinic-NEJM）はテキスト対話のみの診断と比較して診断にどのような影響を与えるか？

主な発見

• GPT-4 は AgentClinic-MedQA で 52% の正確度を達成。GPT-4o は 38%、Mixtral-8x7B は 37%、Llama 3 70B-instruct は 30%、Llama 2 70B-chat は 9%。
• AgentClinic-NEJM の多模态タスクでは、画像を初期に提供すると GPT-4o が 47% の正確度を達成する一方、GPT-4-turbo および GPT-4-vision-preview は各々 27% にとどまる。要求時に画像を提供すると正確度がさらに低下（GPT-4o 27%、GPT-4-turbo 20%、GPT-4-vision-preview 13%）。
• バイアス導入は医師および患者の診断正確度を低下させ、患者の遵守度・自信・追診意欲を低下させる；GPT-4 は Mixtral-8x7B に比べて正確度の低下が小さい。
• 患者エージェントの言語モデルは診断の成功に決定的な影響を与える。医師と患者のクロスモデル対話は追加の課題を生む可能性がある。
• 限られた（N=10–15）または過剰な（N=25–30）対話ターンは、20ターンのバランス設定と比較して診断正確度を低下させる。
• 人間の臨床医評価者は、リアリズムと共感を中程度に評価（医師6.2/10、患者6.7/10、測定6.3/10、共感5.8/10）。
• AgentClinic-MedQA の正確度は MedQA スコアだけでは強く予測されず、対話ベースの臨床推論の複雑さを浮き彫りにしている。

Figure 2: Process of conversion from USMLE question, to AgentClinic-MedQA Objective Structured Clinical Examination (OSCE) template, to building a patient agent that is powered by a large language model (LLM).