[論文レビュー] MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making

Yubin Kim, Chanwoo Park+8 more|arXiv (Cornell University)|Apr 22, 2024

Business Process Modeling and Analysis被引用数 8

ひとこと要約

MDAgents は医療クエリの複雑さに基づいて solo、MDT、または ICT コラボレーションを適応的に割り当て、7つのマルチモーダル医療ベンチマークのうち5つで精度を向上させます。

ABSTRACT

Foundation models are becoming valuable tools in medicine. Yet despite their promise, the best way to leverage Large Language Models (LLMs) in complex medical tasks remains an open question. We introduce a novel multi-agent framework, named Medical Decision-making Agents (MDAgents) that helps address this gap by automatically assigning a collaboration structure to a team of LLMs. The assigned solo or group collaboration structure is tailored to the medical task at hand, emulating real-world medical decision-making processes adapted to tasks of varying complexities. We evaluate our framework and baseline methods using state-of-the-art LLMs across a suite of real-world medical knowledge and medical diagnosis benchmarks, including a comparison of LLMs' medical complexity classification against human physicians. MDAgents achieved the best performance in seven out of ten benchmarks on tasks requiring an understanding of medical knowledge and multi-modal reasoning, showing a significant improvement of up to 4.2% (p < 0.05) compared to previous methods' best performances. Ablation studies reveal that MDAgents effectively determines medical complexity to optimize for efficiency and accuracy across diverse medical tasks. Notably, the combination of moderator review and external medical knowledge in group collaboration resulted in an average accuracy improvement of 11.8%. Our code can be found at https://github.com/mitmedialab/MDAgents.

研究の動機と目的

• リアルな医療意思決定を再現するために、LLM間の適応的な協働を促進・実現する。
• 低・中・高の複雑さに分類する Medical Complexity Check を定義する。
• 推論時に solo、MDT、ICT の構成を形成するリクルートメントとオーケストレーション機構を設計する。
• solo およびグループのベースラインと比較して、さまざまなマルチモーダル医療ベンチマークで MDAgents を評価する。
• 医療意思決定支援における協調AIの堅牢性、効率、合意ダイナミクスを分析する。

提案手法

• 医療複雑性チェック、専門家リクルート、推論プロセス、最終意思決定の4段階フレームワーク。
• クエリを低・中・高の複雑さレベルに対応づけるモデレーションベースの複雑さ分類。
• solo、MDT、または統合ケアチーム（ICT）構造へのエージェント動的リクルート。
• 協調的な議論と MDT シナリオのための反復的フィードバック、モデレーターによる最終決定はアンサンブルまたはコンセンサス機構を通じて行う。
• solo推論にはChain-of-Thought、Self-Consistency、Medprompt などのプロンプティング技術を組み込み、グループには構造化協調を適用。
• テキストのみ、画像+テキスト、動画+テキストのモダリティを横断する7つの医療ベンチマーク（MedQA、MedMCQA、PubMedQA、DDxPlus、PMC-VQA、Path-VQA、MedVidQA）を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 適応型協働フレームワークは、ソロまたは静的なグループ手法を上回る医療意思決定の精度向上を、さまざまな医療タスクで達成できるか？
• RQ2 協調エージェントの数を変えると、医療AI推論の精度とAPIコスト効率にどのような影響があるか？
• RQ3 モダリティ（テキスト、画像、動画）が医療推論におけるコンセンサスダイナミクスと意思決定の質に与える影響は？
• RQ4 高複雑度の医療ケースにおいて、モデレーター主導の MDT/ICT パイプラインは堅牢な最終決定を生むか？
• RQ5 臨床シナリオごとの温度変動とプロンプト戦略に対するフレームワークの頑健性は？

主な発見

• 適応的な MDAgents は、マルチモーダルタスクを含む7つのベンチマークのうち5つで最良の性能を達成。
• 協調エージェントの数を適切に調整（多くは3）して、性能とAPI使用をバランスさせることで精度と効率を最適化。
• コンセンサスダイナミクスはモダリティを横断するエージェント意見の収束を示し、テキスト+動画設定でより速い収束を観察。
• 複雑度を意識したリcruitment と反復的 MDT 改善の価値を、より高い複雑度のケースでアブレーション研究が確認。
• 温度変化やプロンプト戦略に対して頑健で、ソロ/グループのベースラインが苦戦する場面でも高い精度を維持。