[논문 리뷰] PathFinder: A Multi-Modal Multi-Agent System for Medical Diagnostic Decision-Making Applied to Histopathology

Fatemeh Ghezloo, Mehmet Saygın Seyfioğlu외 7명|ArXiv.org|2025. 02. 13.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

PathFinder는 네 대역 프레임워크로 병리학자의 의사결정을 모방하여 병리학 전체 슬라이드 이미지를 진단하고, 흑색종 분류에서 최첨단 정확도에 도달하며 자연어 설명을 제공합니다.

ABSTRACT

Diagnosing diseases through histopathology whole slide images (WSIs) is fundamental in modern pathology but is challenged by the gigapixel scale and complexity of WSIs. Trained histopathologists overcome this challenge by navigating the WSI, looking for relevant patches, taking notes, and compiling them to produce a final holistic diagnostic. Traditional AI approaches, such as multiple instance learning and transformer-based models, fail short of such a holistic, iterative, multi-scale diagnostic procedure, limiting their adoption in the real-world. We introduce PathFinder, a multi-modal, multi-agent framework that emulates the decision-making process of expert pathologists. PathFinder integrates four AI agents, the Triage Agent, Navigation Agent, Description Agent, and Diagnosis Agent, that collaboratively navigate WSIs, gather evidence, and provide comprehensive diagnoses with natural language explanations. The Triage Agent classifies the WSI as benign or risky; if risky, the Navigation and Description Agents iteratively focus on significant regions, generating importance maps and descriptive insights of sampled patches. Finally, the Diagnosis Agent synthesizes the findings to determine the patient's diagnostic classification. Our Experiments show that PathFinder outperforms state-of-the-art methods in skin melanoma diagnosis by 8% while offering inherent explainability through natural language descriptions of diagnostically relevant patches. Qualitative analysis by pathologists shows that the Description Agent's outputs are of high quality and comparable to GPT-4o. PathFinder is also the first AI-based system to surpass the average performance of pathologists in this challenging melanoma classification task by 9%, setting a new record for efficient, accurate, and interpretable AI-assisted diagnostics in pathology. Data, code and models available at https://pathfinder-dx.github.io/

연구 동기 및 목표

• 기가픽셀 규모에서 효율적이고 총체적 인 histopathology 진단을 촉진한다.
• 병리학자 작업 흐름을 모방하기 위해 네 대역 시스템(Triage, Navigation, Description, Diagnosis)을 제안한다.
• 패치와 소견에 대한 해석 가능한 진단을 가능하게 하는 자연어 설명을 제공한다.
• M-Path melanoma 데이터셋에서 최첨단 방법 및 인간 평균보다 진단 정확도 개선을 입증한다.

제안 방법

• WSIs를 512x512 패치로 나누고 Quilt-Net를 사용해 패치 특징을 추출한다.
• Triage Agent: 변환기 기반 분류기로 WSIs를 양성인 WSIs와 위험한 WSIs로 구분한다.
• Navigation Agent: 설명을 위한 패치를 선택하기 위해 텍스트 조건화된 중요도 맵을 반복적으로 생성한다.
• Description Agent: 간결한 패치 설명을 생성하기 위해 Quilt-LLaVA를 미세조정한다.
• Diagnosis Agent: 패치 설명의 궤적에 대해 LoRA로 훈련된 분류 헤드를 가진 LLM이다.
• 주요 평가에는 내비게이션 및 설명 전략을 달리하는 ablations를 포함한 baselines와의 비교가 포함된다.

실험 결과

연구 질문

• RQ1 다중 에이전트, 다중 모달 프레임워크가 WSI 흑색종 분류에서 단일 모델 접근법보다 우수할 수 있는가?
• RQ2 반복적이고 텍스트 조건화된 내비게이션과 패치 설명이 진단 정확도와 해석가능성을 향상시키는가?
• RQ3 설명 품질과 에이전트 협력이 최종 진단 및 설명가능성에 어떤 영향을 미치는가?
• RQ4 Triage 단계가 시스템 전체 성능에 어떤 기여를 하는가?

주요 결과

• PathFinder는 M-Path melanoma 진단 과제에서 74%의 정확도를 달성하여 인간 전문가(65%) 및 최고 baseline(66%)를 능가한다.
• 특정 구성의 PathFinder는 74%의 정확도에 도달하며, ablations는 비반복적 또는 순수 이미지 기반 방식보다 반복적이고 텍스트 조건화된 내비게이션의 중요성을 보여준다.
• Description Agent는 GPT-4o에 필적하는 인간이 해석 가능한 패치 설명의 품질을 훨씬 작은 모델(7B)을 사용하여 제공한다.
• 정성적 병리학자 평가에서 Description Agent의 설명 품질이 해석가능성을 뒷받침한다.
• PathFinder의 접근법은 이 작업에서 병리학자의 평균 성능을 9% 상회하며, M-Path 데이터셋의 흑색종 분류에서 AI 기반 시스템으로서는 처음으로 이를 달성한다.