[論文レビュー] RareAgents: Autonomous Multi-disciplinary Team for Rare Disease Diagnosis and Treatment

Xuanzhong Chen, Ye Jin+4 more|arXiv (Cornell University)|Dec 17, 2024

Genomics and Rare DiseasesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

RareAgentsは、動的記憶、ツール利用、専門医エージェント間の協働計画を統合した、希少疾患の診断・治療を目的とした画期的な患者中心の多様な分野に跨るLLMベースのエージェントフレームワークである。Llama-3.1-8B/70Bを用いて、GPT-4o やドメイン特化型エージェントを凌駕する差別的診断と薬剤推薦性能を示し、希少疾患研究を前進させるためにMIMIC-IV-Ext-Rareデータセットを新たに導入した。

ABSTRACT

Rare diseases, despite their low individual incidence, collectively impact around 300 million people worldwide due to the vast number of diseases. The involvement of multiple organs and systems, and the shortage of specialized doctors with relevant experience, make diagnosing and treating rare diseases more challenging than common diseases. Recently, agents powered by large language models (LLMs) have demonstrated notable applications across various domains. In the medical field, some agent methods have outperformed direct prompts in question-answering tasks from medical examinations. However, current agent frameworks are not well-adapted to real-world clinical scenarios, especially those involving the complex demands of rare diseases. To bridge this gap, we introduce RareAgents, the first LLM-driven multi-disciplinary team decision-support tool designed specifically for the complex clinical context of rare diseases. RareAgents integrates advanced Multidisciplinary Team (MDT) coordination, memory mechanisms, and medical tools utilization, leveraging Llama-3.1-8B/70B as the base model. Experimental results show that RareAgents outperforms state-of-the-art domain-specific models, GPT-4o, and current agent frameworks in diagnosis and treatment for rare diseases. Furthermore, we contribute a novel rare disease dataset, MIMIC-IV-Ext-Rare, to facilitate further research in this field.

研究の動機と目的

• 希少疾患の症状の複雑さと専門医の不足による診断遅延と治療課題を解決すること。
• 希少疾患患者の臨床的実情を模倣する、自律的で多様な分野に跨る医療エージェントチームを構築すること。
• 計画、記憶、医療ツールの活用を統合した患者中心のフレームワークにより、診断の正確性と薬剤推薦の精度を向上させること。
• 希少疾患にとどまらず、多様な医療意思決定シナリオに応用可能な、即挿入・拡張可能なアーキテクチャを構築すること。
• 今後の希少疾患におけるLLM応用研究を支援する、臨床的に根拠のある新規データセットMIMIC-IV-Ext-Rareを提供すること。

提案手法

• システムは、患者の臨床的プロファイルと要請を表す患者エージェントを用い、受診医エージェントと通信を開始する。
• 受診医エージェントは、事前に定義されたプールから、分野特化型の役割を有する専門医エージェントの多様な分野チーム（MDT）を動的に編成する。
• 各専門医エージェントは、対話間で関連する臨床的文脈を保持・取得する動的長期記憶を採用する。
• 医療データベース（例：DrugBank）や相互作用チェッカー（例：DDI-graph）との統合により、ツール利用を可能にし、薬剤の安全性を検証する。
• MDTは反復的な計画と推論を通じて協働し、受診医エージェントが最終的な推奨を統合する。
• システムは、Llama-3.1-8B/70BをベースLLMとして採用し、複雑な臨床シナリオにおけるゼロショット推論とエージェント自律性を実現する。

Figure 1: The four steps of the RareAgents framework. In Step 2, the Attending Physician Agent applies a) Planning to form an MDT and reach a consensus through iterative discussions; b) Dynamic long-term memory to retrieve and update similar cases or prior records; and c) Tools to assist in diagnosi

実験結果

リサーチクエスチョン

• RQ1 自律的で多様な分野に跨るLLMエージェントチームは、既存のエージェントフレームワークやSOTAモデルを上回り、希少疾患の診断において優れた性能を示せるか？
• RQ2 記憶、計画、医療ツール利用の統合が、希少疾患シナリオにおける診断精度と治療精度をどのように向上させるか？
• RQ3 患者中心で即挿入可能なエージェントフレームワークは、多臓器にまたがる複雑な臨床像を示す多様な希少疾患症例に、どの程度一般化可能か？
• RQ4 提案されたフレームワークは、自動推論と相互作用チェックを活用することで、診断の遅延期間を短縮し、薬剤の安全性をどのように向上させるか？
• RQ5 新たに収集されたデータセットMIMIC-IV-Ext-Rareは、希少疾患におけるLLM応用研究を効果的に支援し、前進させるのに適しているか？

主な発見

• RareAgentsは、希少疾患における差別的診断において、SOTAドメイン特化型モデルやGPT-4oを大きく上回り、優れた推論力と正確性を示した。
• 特に多薬物併用療法の状況において、既存のエージェントベースおよびSOTAモデルよりも高い薬剤推薦の正確性を達成した。
• 動的記憶とツール利用（例：DrugBank、DDI-graph）の統合により、より安全で個別化された治療計画が実現し、潜在的な薬物相互作用が低減された。
• アブレーションスタディの結果、計画、記憶、ツール利用の各要素が全体のパフォーマンスに有意に寄与しており、特に記憶が最も顕著な影響を示した。
• 新たに導入されたMIMIC-IV-Ext-Rareデータセットは、MIMIC-IVに希少疾患症例を拡張し、今後のベンチマーク評価とモデル開発を可能にする。
• ケーススタディでは、複雑な腫瘍学的症例において21種類の薬剤のうち16種類を正しく推奨し、正解に存在しないのは4種類のみであり、臨床的妥当性と安全性が強く裏付けられた。

Figure 2: Illustrative examples of our proposed RareAgents framework for diagnosing and treating rare diseases are presented. The left panel features a patient from RareBench-Public requiring differential diagnosis based on symptoms, while the right panel shows a case from MIMIC-IV-Ext-Rare involvin