[論文レビュー] PathMMU: A Massive Multimodal Expert-Level Benchmark for Understanding and Reasoning in Pathology

Yuxuan Sun, Hao Wu+12 more|arXiv (Cornell University)|Jan 29, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

PathMMUは、GPT-4Vを用いて構築され、7名の病理専門医によって検証された大規模で専門家検証済みのマルチモーダルベンチマークであり、33,428件の病理学的Q&Aペアと24,067枚の画像を含む。このベンチマークは、GPT-4Vのような最先端のLMMですらゼロショット精度が49.8％にとどまり、人間の専門家（71.8％）に大きく劣ることを明らかにしたが、微調整されたオープンソースモデルはGPT-4Vを上回り、PathMMUが病理学的LMM開発の前進を促す役割を果たしていることを示している。

ABSTRACT

The emergence of large multimodal models has unlocked remarkable potential in AI, particularly in pathology. However, the lack of specialized, high-quality benchmark impeded their development and precise evaluation. To address this, we introduce PathMMU, the largest and highest-quality expert-validated pathology benchmark for Large Multimodal Models (LMMs). It comprises 33,428 multimodal multi-choice questions and 24,067 images from various sources, each accompanied by an explanation for the correct answer. The construction of PathMMU harnesses GPT-4V's advanced capabilities, utilizing over 30,000 image-caption pairs to enrich captions and generate corresponding Q&As in a cascading process. Significantly, to maximize PathMMU's authority, we invite seven pathologists to scrutinize each question under strict standards in PathMMU's validation and test sets, while simultaneously setting an expert-level performance benchmark for PathMMU. We conduct extensive evaluations, including zero-shot assessments of 14 open-sourced and 4 closed-sourced LMMs and their robustness to image corruption. We also fine-tune representative LMMs to assess their adaptability to PathMMU. The empirical findings indicate that advanced LMMs struggle with the challenging PathMMU benchmark, with the top-performing LMM, GPT-4V, achieving only a 49.8% zero-shot performance, significantly lower than the 71.8% demonstrated by human pathologists. After fine-tuning, significantly smaller open-sourced LMMs can outperform GPT-4V but still fall short of the expertise shown by pathologists. We hope that the PathMMU will offer valuable insights and foster the development of more specialized, next-generation LMMs for pathology.

研究の動機と目的

• 病理学分野における大規模マルチモーダルモデル（LMM）を評価する高品質で専門家検証済みのベンチマークが不足しているという問題に対処すること。
• 現実の診断課題を反映した包括的で多様性に富み、説明可能なマルチモーダルデータセットを構築すること。
• LMMと臨床的熟練度との間の格差を定量化するため、人間の専門家によるパフォーマンスのベンチマークを確立すること。
• 病理学に特化した専門家がキュレートしたベンチマーク上で、オープンソースおよびクローズドソースのLMMのロバスト性と適応性を評価すること。
• 視覚的無視やショートカット学習といった主な制限要因を特定することで、将来の専門的LMM開発を導くこと。

提案手法

• GPT-4Vを活用して30,000件を超える画像-キャプションペアを生成し、階層的プロンプティング戦略を用いてそれらをマルチモーダルQ&Aペアに段階的に変換した。
• PubMed、病理学アトラス、ソーシャルメディア、教育用動画、分類データセットなど多様なソースからデータを収集し、臓器系や疾患タイプの広範なカバレッジを確保した。
• 厳密な二段階のキュレーションプロセスを採用：最初にAIによる生成を行い、その後、テストおよび検証セットに対して7名の board-certified pathologists による専門家検証を実施した。
• 人間の専門家パフォーマンスのベンチマークを確立するため、病理専門医が同じ質問に回答させ、LMMのパフォーマンスと直接比較できるようにした。
• 14種類のオープンソースおよび4種類のクローズドソースLMMを用いてゼロショット評価と微調整実験を実施。微調整戦略は、直接回答生成と、説明付き回答生成の2通りを採用した。
• 画像の劣化に対するモデルのロバスト性を評価し、複数のデータサブセット（例：PubMed、SocialPath、Atlas）におけるパフォーマンスを分析することで、ドメイン一般化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 最先端のLMMは、包括的で専門家検証済みの病理学ベンチマーク上で、人間の病理専門家と比べてどの程度のパフォーマンスを示すか？
• RQ2 PathMMUで微調整を施すことでLMMのパフォーマンスは著しく向上するか？また、説明を含む回答を生成するように微調整したモデルは、直接回答を生成するモデルよりも優れているか？
• RQ3 LMMは、病理画像を分析する際に、テキスト的ヒントに依存する程度が高く、視覚的特徴に依存する程度はどの程度か？その影響は精度にどのように現れるか？
• RQ4 現在のLMMが示す主な失敗モード（視覚的無視やショートカット学習など）は何か？それらはどのように緩和できるか？
• RQ5 LMMは画像の劣化に対してどの程度ロバストか？また、PathMMU内の異なるデータソース間でパフォーマンスに差異は生じるか？

主な発見

• 最良のLMMとされるGPT-4Vでさえ、PathMMUにおけるゼロショット精度は49.8％にとどまり、人間の病理専門医（71.8％）に大きく劣っていた。
• 微調整後、InstructBLIP-FLAN-T5-XL や InstructBLIP-FLAN-T5-XXL といった小規模なオープンソースLMMがGPT-4Vを上回り、回答と説明を併記する微調整で最大61.4％の精度を達成した。
• 直接回答生成のための微調整は、説明付き回答生成のための微調整よりも高いパフォーマンスを示した。後者はそれぞれ0.3％および2.3％のわずかなパフォーマンス低下を示した。
• 最も顕著なパフォーマンス向上は微調整に起因し、InstructBLIP-FLAN-T5-XL は直接回答生成用に微調整したことで21.5ポイントの精度向上を達成した。
• モデルは画像の劣化に対して著しくロバストでなく、顕著な視覚的特徴を無視する傾向にあり、テキスト的ヒントに過度に依存していることが示された。
• データサブセットごとのパフォーマンスに差異があり、特にPubMedおよび教育コンテンツサブセットで最も低いパフォーマンスを示した。これはドメイン特有の一般化の課題を示唆している。