[論文レビュー] PathFinder: A Multi-Modal Multi-Agent System for Medical Diagnostic Decision-Making Applied to Histopathology

Fatemeh Ghezloo, Mehmet Saygın Seyfioğlu+7 more|ArXiv.org|Feb 13, 2025

Biomedical Text Mining and Ontologies被引用数 5

ひとこと要約

PathFinderは、病理医の意思決定を模倣する4エージェントのフレームワークで、病理組織学における全スライド画像の診断を行い、黒色腫分類において最先端の精度を達成するとともに自然言語の説明を提供します。

ABSTRACT

Diagnosing diseases through histopathology whole slide images (WSIs) is fundamental in modern pathology but is challenged by the gigapixel scale and complexity of WSIs. Trained histopathologists overcome this challenge by navigating the WSI, looking for relevant patches, taking notes, and compiling them to produce a final holistic diagnostic. Traditional AI approaches, such as multiple instance learning and transformer-based models, fail short of such a holistic, iterative, multi-scale diagnostic procedure, limiting their adoption in the real-world. We introduce PathFinder, a multi-modal, multi-agent framework that emulates the decision-making process of expert pathologists. PathFinder integrates four AI agents, the Triage Agent, Navigation Agent, Description Agent, and Diagnosis Agent, that collaboratively navigate WSIs, gather evidence, and provide comprehensive diagnoses with natural language explanations. The Triage Agent classifies the WSI as benign or risky; if risky, the Navigation and Description Agents iteratively focus on significant regions, generating importance maps and descriptive insights of sampled patches. Finally, the Diagnosis Agent synthesizes the findings to determine the patient's diagnostic classification. Our Experiments show that PathFinder outperforms state-of-the-art methods in skin melanoma diagnosis by 8% while offering inherent explainability through natural language descriptions of diagnostically relevant patches. Qualitative analysis by pathologists shows that the Description Agent's outputs are of high quality and comparable to GPT-4o. PathFinder is also the first AI-based system to surpass the average performance of pathologists in this challenging melanoma classification task by 9%, setting a new record for efficient, accurate, and interpretable AI-assisted diagnostics in pathology. Data, code and models available at https://pathfinder-dx.github.io/

研究の動機と目的

• gigapixelスケールでの効率的で包括的なヒストopathology診断を動機づける。
• 病理医のワークフローを模倣する4エージェントシステム（Triage, Navigation, Description, Diagnosis）を提案する。
• パッチと所見の自然言語説明を通じて解釈可能な診断を実現する。
• M-Path黒色腫データセットで、最先端手法および人間の平均を上回る診断精度を実証する。

提案手法

• WSIsを512x512パッチに分割する。パッチ特徴を抽出するためにQuilt-Netを使用する。
• Triage Agent: BenignとRisky WSIsを区別するトランスフォーマー基盤の分類子。
• Navigation Agent: テキスト条件付きの重要度マップを反復的に生成して記述対象のパッチを選択する。
• Description Agent: 簡潔なパッチ記述を生成するためにFine-tuned Quilt-LLaVAを使用。
• Diagnosis Agent: 記述パッチの軌跡に対してLoRAでトレーニングされた分類ヘッドを持つLLM。
• 主要な評価は、ナビゲーションと記述戦略の ablutions を含むベースラインに対して行われる。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント・マルチモーダルのフレームワークは、WSI黒色腫分類において単一モデルのアプローチを上回れるか。
• RQ2 反復的でテキスト条件付きのナビゲーションとパッチ記述は、診断精度と解釈性を向上させるか。
• RQ3 記述品質とエージェントの協調は最終診断と説明可能性にどのように影響するか。
• RQ4 Triageステップは全体のシステム性能にどのくらい寄与するか。

主な発見

• PathFinderはM-Path黒色腫診断タスクで74%の精度を達成し、人間の専門家（65%）およびベストベースライン（66%）を上回る。
• 特定の構成のPathFinderは74%の精度に到達し、反復的でテキスト条件付きナビゲーションが非反復的または純粋な画像ベース手法よりも重要であることをアブレーションで示している。
• Description Agentは、GPT-4oと同等の品質の人間が読めるパッチ記述を、はるかに小さなモデル（7B）を用いて提供する。
• 定性的な病理医評価はDescription Agentによる高品質な記述を示し、解釈可能性を支持する。
• PathFinderのアプローチは、このタスクの病理医の平均性能を9%上回っており、M-Pathデータセットで黒色腫分類においてAIベースの初のシステムとして達成した。