[論文レビュー] CLIP in Medical Imaging: A Survey

Zihao Zhao, Yu-Xiao Liu+9 more|arXiv (Cornell University)|Dec 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 29

ひとこと要約

この調査は、CLIPが医用画像にどのように適用されるかを分析し、洗練された pre-training 手法と CLIP 驅動の適用、課題、データセット、今後の方向性を詳述します。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP), a simple yet effective pre-training paradigm, successfully introduces text supervision to vision models. It has shown promising results across various tasks due to its generalizability and interpretability. The use of CLIP has recently gained increasing interest in the medical imaging domain, serving as a pre-training paradigm for image-text alignment, or a critical component in diverse clinical tasks. With the aim of facilitating a deeper understanding of this promising direction, this survey offers an in-depth exploration of the CLIP within the domain of medical imaging, regarding both refined CLIP pre-training and CLIP-driven applications. In this paper, we (1) first start with a brief introduction to the fundamentals of CLIP methodology; (2) then investigate the adaptation of CLIP pre-training in the medical imaging domain, focusing on how to optimize CLIP given characteristics of medical images and reports; (3) further explore practical utilization of CLIP pre-trained models in various tasks, including classification, dense prediction, and cross-modal tasks; and (4) finally discuss existing limitations of CLIP in the context of medical imaging, and propose forward-looking directions to address the demands of medical imaging domain. Studies featuring technical and practical value are both investigated. We expect this survey will provide researchers with a holistic understanding of the CLIP paradigm and its potential implications. The project page of this survey can also be found on https://github.com/zhaozh10/Awesome-CLIP-in-Medical-Imaging.

研究の動機と目的

• CLIPの概念とバリアントの包括的な概要を提供する。
• 医用画像とレポートへのCLIP事前学習の適用を分析する。
• タスク全体でのCLIP駆動の医用画像診断を要約する。
• 医用CLIPの課題を議論し、今後の研究方向を提案する。

提案手法

• CLIP関連の医用画像研究の分類法を提示する。
• 対照的事前学習目的とゼロショット一般化の方程式を説明する（CLIPの式(1)–(4)）。
• GLoRIA や LoVT などのマルチスケールコントラスト手法と、それらがグローバルのみのCLIPより改善する点を要約する。
• 医用CLIP事前学習のデータ効率化と知識強化戦略を分類する。
• 公開されている医用画像-テキストデータセットと関連CLIPモデルをレビューする。

Fig. 1: Taxonomy of studies focusing on CLIP in the field of medical imaging.

実験結果

リサーチクエスチョン

• RQ1 CLIP事前学習を医用画像とレポートの特徴に適用するにはどうすればよいか？
• RQ2 医用データでマルチスケールの画像-テキスト整合性を達成する効果的な戦略は何か？
• RQ3 データ効率と知識組込みは医用CLIPの性能をどう改善できるか？
• RQ4 どのタスクとデータセットがCLIP駆動の医用イメージング能力を示すか？

主な発見

• CLIPの画像-text pre-training は医用画像にも拡張可能で、ゼロショットのドメイン識別やクロスモーダルタスクを可能にする。
• マルチスケールコントラスト手法（例：GLoRIA、LoVT）は、グローバルレベルのCLIPを超えた局所テキストと局所画像の整合を改善し、セグメンテーションと検出を支援する。
• データ効率化戦略（相関駆動のコントラスト、文/セクションレベルのプロンプト、知識プロンプト）は小規模な医用データセットを緩和し、ロバスト性を向上させる。
• ROCO、MedICaT、PMC-OA、MIMIC-CXR、PadChest など、医用画像-テキスト研究を支援し、このドメインの事前-trained CLIPモデルを可能にするさまざまなデータセットが存在する。
• GLIP、CLIPSeg、CRIS のような派生はCLIPを検出とセグメンテーションに拡張し、病変の局在や文のグラウンド化など医用応用を知らせる。

Fig. 2: The number of medical imaging papers focusing on CLIP has increased rapidly in recent years.