[논문 리뷰] RareAgents: Autonomous Multi-disciplinary Team for Rare Disease Diagnosis and Treatment

Xuanzhong Chen, Ye Jin외 4명|arXiv (Cornell University)|2024. 12. 17.

Genomics and Rare DiseasesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

RareAgents는 희귀질환 진단 및 치료를 위한 환자 중심의 다학제적 LLM 기반 에이전트 프레임워크로, 동적 메모리, 도구 사용, 전문의 에이전트 간 협업 기획을 통합하였다. Llama-3.1-8B/70B를 사용하여 희귀질환의 감별진단 및 약물 추천에서 GPT-4o 및 SOTA 모델을 능가하며, 희귀질환 연구를 촉진하기 위해 MIMIC-IV-Ext-Rare 데이터셋을 도입하였다.

ABSTRACT

Rare diseases, despite their low individual incidence, collectively impact around 300 million people worldwide due to the vast number of diseases. The involvement of multiple organs and systems, and the shortage of specialized doctors with relevant experience, make diagnosing and treating rare diseases more challenging than common diseases. Recently, agents powered by large language models (LLMs) have demonstrated notable applications across various domains. In the medical field, some agent methods have outperformed direct prompts in question-answering tasks from medical examinations. However, current agent frameworks are not well-adapted to real-world clinical scenarios, especially those involving the complex demands of rare diseases. To bridge this gap, we introduce RareAgents, the first LLM-driven multi-disciplinary team decision-support tool designed specifically for the complex clinical context of rare diseases. RareAgents integrates advanced Multidisciplinary Team (MDT) coordination, memory mechanisms, and medical tools utilization, leveraging Llama-3.1-8B/70B as the base model. Experimental results show that RareAgents outperforms state-of-the-art domain-specific models, GPT-4o, and current agent frameworks in diagnosis and treatment for rare diseases. Furthermore, we contribute a novel rare disease dataset, MIMIC-IV-Ext-Rare, to facilitate further research in this field.

연구 동기 및 목표

• 희귀질환의 복잡한 증상과 전문의 부족으로 인한 진단 지연 및 치료 과제를 해결하기 위해.
• 희귀질환 환자를 위한 실제 임상 워크플로우를 시뮬레이션하는 자율적이고 다학제적 LLM 기반 에이전트 팀을 개발하기 위해.
• 기획, 메모리, 의료 도구 활용을 통합한 환자 중심 프레임워크를 통해 진단 정확도 및 약물 추천 정확도를 향상시키기 위해.
• 희귀질환을 초월한 다양한 의료 의사결정 시나리오에 적용 가능한 즉시 사용 및 확장 가능한 아키텍처를 제공하기 위해.
• 미래의 희귀질환 LLM 응용 연구를 지원하기 위해 임상적으로 기반을 둔 새로운 데이터셋인 MIMIC-IV-Ext-Rare를 기여하기 위해.

제안 방법

• 시스템은 환자의 임상 프로필과 요청을 대표하는 환자 에이전트를 사용하여 전문의 에이전트와의 소통을 시작한다.
• 전문의 에이전트는 사전 정의된 풀에서 도메인 특화 역할을 가진 전문의 에이전트 팀을 동적으로 구성한다.
• 각 전문의 에이전트는 상호작용 전반에서 관련 임상적 맥락을 유지하고 검색하기 위해 동적 장기 메모리를 활용한다.
• 프레임워크는 의료 데이터베이스(예: DrugBank) 및 상호작용 검사기(예: DDI-graph)와의 통합을 통해 도구 사용을 가능하게 하여 약물 안전성 검증을 수행한다.
• MDT는 반복적 기획 및 추론을 통해 협업하며, 전문의가 최종 권고를 종합한다.
• 시스템은 복잡한 임상 시나리오에서 제로샷 추론 및 에이전트 자율성을 보장하기 위해 Llama-3.1-8B/70B를 기본 LLM으로 사용한다.

Figure 1: The four steps of the RareAgents framework. In Step 2, the Attending Physician Agent applies a) Planning to form an MDT and reach a consensus through iterative discussions; b) Dynamic long-term memory to retrieve and update similar cases or prior records; and c) Tools to assist in diagnosi

실험 결과

연구 질문

• RQ1 자율적이고 다학제적 LLM 에이전트 팀이 기존의 에이전트 프레임워크 및 SOTA 모델보다 희귀질환 진단에서 뛰어난 성능을 보일 수 있는가?
• RQ2 메모리, 기획, 의료 도구 사용의 통합이 희귀질환 시나리오에서 진단 및 치료 정확도를 어떻게 향상시키는가?
• RQ3 환자 중심의 즉시 사용 가능한 에이전트 프레임워크가 복잡한 다기관 증상을 보이는 다양한 희귀질환 사례에 얼마나 일반화될 수 있는가?
• RQ4 제안된 프레임워크는 자동 추론 및 상호작용 검사 기능을 통해 진단 오딧세이 기간을 얼마나 줄이고 약물 안전성을 향상시킬 수 있는가?
• RQ5 새로가서 커리레이팅된 데이터셋인 MIMIC-IV-Ext-Rare가 희귀질환 LLM 응용 연구에 효과적으로 기여하고 발전시킬 수 있는가?

주요 결과

• RareAgents는 희귀질환의 감별진단에서 도메인 특화 SOTA 모델 및 GPT-4o를 뛰어넘는 뛰어난 추론 능력과 정확도를 보였다.
• 특히 다약물 병용 요법과 같은 복잡한 상황에서 기존의 에이전트 기반 및 SOTA 모델보다 높은 약물 추천 정확도를 달성하였다.
• 동적 메모리 및 도구 사용(예: DrugBank, DDI-graph)의 통합은 더 안전하고 개인화된 치료 계획을 가능하게 하여 잠재적 약물 상호작용을 감소시켰다.
• 제거 실험 결과 각 구성요소인 기획, 메모리, 도구 사용이 전반적인 성능에 의미 있는 기여를 하며, 특히 메모리가 가장 큰 영향을 미쳤다.
• 새로 도입된 MIMIC-IV-Ext-Rare 데이터셋은 MIMIC-IV에 희귀질환 사례를 추가하여, 이 분야의 부족한 자원을 메우고 향후 벤치마킹 및 모델 개발을 가능하게 하였다.
• 사례 연구에서 RareAgents는 복잡한 종양학 사례에서 21개 약물 중 16개를 정확히 추천하였으며, 오직 4개만이 기준값에 없었으며, 이는 강력한 임상적 관련성과 안전성을 시사한다.

Figure 2: Illustrative examples of our proposed RareAgents framework for diagnosing and treating rare diseases are presented. The left panel features a patient from RareBench-Public requiring differential diagnosis based on symptoms, while the right panel shows a case from MIMIC-IV-Ext-Rare involvin