[논문 리뷰] MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making

Yubin Kim, Chanwoo Park외 8명|arXiv (Cornell University)|2024. 04. 22.

Business Process Modeling and Analysis인용 수 8

한 줄 요약

MDAgents는 의학 쿼리의 복잡도에 따라 LLM 간의 솔로, MDT 또는 ICT 협업을 적응적으로 할당하여 7개의 다모달 의학 벤치마크 중 5개에서 정확도를 향상시킵니다.

ABSTRACT

Foundation models are becoming valuable tools in medicine. Yet despite their promise, the best way to leverage Large Language Models (LLMs) in complex medical tasks remains an open question. We introduce a novel multi-agent framework, named Medical Decision-making Agents (MDAgents) that helps address this gap by automatically assigning a collaboration structure to a team of LLMs. The assigned solo or group collaboration structure is tailored to the medical task at hand, emulating real-world medical decision-making processes adapted to tasks of varying complexities. We evaluate our framework and baseline methods using state-of-the-art LLMs across a suite of real-world medical knowledge and medical diagnosis benchmarks, including a comparison of LLMs' medical complexity classification against human physicians. MDAgents achieved the best performance in seven out of ten benchmarks on tasks requiring an understanding of medical knowledge and multi-modal reasoning, showing a significant improvement of up to 4.2% (p < 0.05) compared to previous methods' best performances. Ablation studies reveal that MDAgents effectively determines medical complexity to optimize for efficiency and accuracy across diverse medical tasks. Notably, the combination of moderator review and external medical knowledge in group collaboration resulted in an average accuracy improvement of 11.8%. Our code can be found at https://github.com/mitmedialab/MDAgents.

연구 동기 및 목표

• 실제 의료 의사결정을 반영하기 위해 LLM 간의 적응형 협업을 고무하고 가능하게 한다.
• 저-중-고 복잡도의 쿼리를 분류하기 위한 Medical Complexity Check를 정의한다.
• 추론 시 솔로, MDT 또는 ICT 구성으로 형성하기 위한 모집 및 오케스트레이션 메커니즘을 설계한다.
• 다양한 다모달 의학 벤치마크에서 솔로 및 그룹 기준선과 비교하여 MDAgents를 평가한다.
• 의료 의사결정 지원에서 협업 AI의 강건성, 효율성 및 합의 역학을 분석한다.

제안 방법

• 네 단계 프레임워크: medical complexity check, expert recruitment, inference process, and final decision making.
• 쿼리를 저/중/고 복잡도 수준에 매핑하는 조정 기반의 복잡도 분류.
• 솔로, 다학제 팀 (MDT), 또는 통합 치료 팀 (ICT) 구조로 에이전트를 동적으로 모집한다.
• MDT 시나리오를 위한 반복 피드백과 모더레이터를 통한 협업 토론; 최종 결정은 앙상블 또는 합의 메커니즘을 통해 이루어진다.
• solo 추론을 위한 prompting 기법(e.g., Chain-of-Thought, Self-Consistency, Medprompt) 및 그룹을 위한 구조화된 협업의 통합.
• 텍스트 전용, 이미지+텍스트, 비디오+텍스트 모달리티를 포함하는 일곱 개의 의학 벤치마크를 사용한 평가 (MedQA, MedMCQA, PubMedQA, DDxPlus, PMC-VQA, Path-VQA, MedVidQA).

실험 결과

연구 질문

• RQ1 적응형 협업 프레임워크가 다양한 의학 업무에서 솔로 또는 정적 그룹 방법보다 의료 의사결정 정확도를 향상시킬 수 있는가?
• RQ2 협업 에이전트의 수를 변화시키는 것이 의학 AI 추론의 정확도와 API-비용 효율성에 어떤 영향을 미치는가?
• RQ3 모달리티(text, image, video)가 다중 에이전트 의료 추론의 합의 역학 및 의사결정 품질에 미치는 영향은 무엇인가?
• RQ4 모더레이터 주도형 MDT/ICT 파이프라인이 고복잡도 의료 사례에서 견고한 최종 결정을 내리는가?
• RQ5 다양한 임상 시나리오에서 온도 변화 및 프롬프트 전략에 대해 프레임워크의 강건성은 어느 정도인가?

주요 결과

• 적응형 MDAgents는 7개의 벤치마크 중 5개에서 최상의 성능을 달성하며, 다모달 작업을 포함한다.
• 프레임워크는 협업 에이전트의 수를 조정하여(대개 3) 성능과 API 사용을 균형 있게 맞춰 정확도와 효율성을 최적화한다.
• 합의 역학은 모달리티 전반에 걸쳐 에이전트 의견의 수렴을 보이며, 텍스트+비디오 설정에서 더 빠르게 수렴한다.
• 소실 실험은 더 높은 복잡도 사례에서 복잡도 인지 모집 및 반복적 MDT 개선의 가치를 확인한다.
• 이 접근법은 온도 변화에 대한 강건성을 보여주며 솔로/그룹 기준선이 어려움을 겪는 상황에서도 높은 정확도를 유지한다.