[論文レビュー] Foundational Models in Medical Imaging: A Comprehensive Survey and Future Vision

Bobby Azad, Reza Azad+5 more|arXiv (Cornell University)|Oct 28, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 40

ひとこと要約

本調査では医療画像分野のファウンデーションモデルをレビューし、分類法を提案し、トレーニング、プロンプティング、マルチモーダル適応について議論し、課題と今後の方向性を概説する。

ABSTRACT

Foundation models, large-scale, pre-trained deep-learning models adapted to a wide range of downstream tasks have gained significant interest lately in various deep-learning problems undergoing a paradigm shift with the rise of these models. Trained on large-scale dataset to bridge the gap between different modalities, foundation models facilitate contextual reasoning, generalization, and prompt capabilities at test time. The predictions of these models can be adjusted for new tasks by augmenting the model input with task-specific hints called prompts without requiring extensive labeled data and retraining. Capitalizing on the advances in computer vision, medical imaging has also marked a growing interest in these models. To assist researchers in navigating this direction, this survey intends to provide a comprehensive overview of foundation models in the domain of medical imaging. Specifically, we initiate our exploration by providing an exposition of the fundamental concepts forming the basis of foundation models. Subsequently, we offer a methodical taxonomy of foundation models within the medical domain, proposing a classification system primarily structured around training strategies, while also incorporating additional facets such as application domains, imaging modalities, specific organs of interest, and the algorithms integral to these models. Furthermore, we emphasize the practical use case of some selected approaches and then discuss the opportunities, applications, and future directions of these large-scale pre-trained models, for analyzing medical images. In the same vein, we address the prevailing challenges and research pathways associated with foundational models in medical imaging. These encompass the areas of interpretability, data management, computational requirements, and the nuanced issue of contextual comprehension.

研究の動機と目的

• 医療画像におけるファウンデーションモデル（FMs）とその中核概念の構造的な概要を提供する。
• トレーニング戦略とモダリティに基づく医療FMsの分類法を導入する。
• 画像モダリティや臓器横断の応用を分析し、長所と限界を明らかにする。
• 解釈性、データプライバシー、計算資源、領域知識の統合といった課題を論じる。
• 臨床実践におけるMFMsの将来の方向性と研究経路を提案する。

提案手法

• ファウンデーションモデルを定義し、事前学習目的（対比学習、生成、ハイブリッド）を要約する。
• 医療FMsを六つのグループに分類する：VPM-Generalist、TPM-Hybrid、TPM-Contrastive、TPM-Generative、VPM-Adaptations、TPM-Conversational。
• テキスト的プロンプトと視覚的プロンプトを用いた代表的な研究をレビューし、医療画像タスクを重視する。
• プロンプト設計、指示整合、LMに触発されたプロンプティングが視覚-言語の医療タスクへどのように翻訳されるかを論じる。
• オープンソース実装を集約し、継続的な更新のための参照を提供する（GitHub イニシアティブ）。

(a) Algorithms

実験結果

リサーチクエスチョン

• RQ1 医療ファウンデーションモデルを可能にする基本概念とトレーニング戦略は何か？
• RQ2 プロンプトとモダリティで医療画像FMsをどのように分類できるか、カテゴリごとの代表的アプローチは何か？
• RQ3 MFMsの主要な臨床機会、制約、および課題（解釈性、プライバシー、計算、分布シフト）は何か？
• RQ4 MFMsをより広い臨床影響へ導く将来の方向性と未解の研究課題は何か？

主な発見

• FMsは限られたラベル付きデータでの多モダリティ解釈と文脈内適応を可能にする。
• 医療FMsの六グループ分類は、テキスト提示および視覚提示を含み、対話型およびジェネラリスト変種を含む。
• MedCLIP、BiomedCLIP、MI-Zero、BioViL-T、Med-Flamingo などの顕著な例は、放射線診断、病理学、その他の領域におけるゼロショット、Few-shot、およびマルチモーダル機能を示す。
• プロンプト設計、指示の整合、および領域知識の統合は、医療画像FMの性能向上の中心です。
• プライバシー保護されたデータ利用とフェデレーテッドラーニングは、医療現場の重要な利点として強調されている。
• 本調査は迅速な普及と評価のための継続的な更新とオープンソース資源を強調している。

(b) Modalities