[論文レビュー] Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains

Pierre Chambon, Christian Bluethgen+2 more|arXiv (Cornell University)|Oct 9, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 44

ひとこと要約

この論文は、安定拡散を胸部X線の生成に適応することを、VAE、U-Net、CLIPテキストエンコーダを分析・微調整して、医学的に正確な合成CXRsを生成し、管理可能な異常を含むようにする。

ABSTRACT

Multi-modal foundation models are typically trained on millions of pairs of natural images and text captions, frequently obtained through web-crawling approaches. Although such models depict excellent generative capabilities, they do not typically generalize well to specific domains such as medical images that have fundamentally shifted distributions compared to natural images. Building generative models for medical images that faithfully depict clinical context may help alleviate the paucity of healthcare datasets. Thus, in this study, we seek to research and expand the representational capabilities of large pretrained foundation models to medical concepts, specifically for leveraging the Stable Diffusion model to generate domain specific images found in medical imaging. We explore the sub-components of the Stable Diffusion pipeline (the variational autoencoder, the U-Net and the text-encoder) to fine-tune the model to generate medical images. We benchmark the efficacy of these efforts using quantitative image quality metrics and qualitative radiologist-driven evaluations that accurately represent the clinical content of conditional text prompts. Our best-performing model improves upon the stable diffusion baseline and can be conditioned to insert a realistic-looking abnormality on a synthetic radiology image, while maintaining a 95% accuracy on a classifier trained to detect the abnormality.

研究の動機と目的

• Stable Diffusion VAEがドメイン固有のファインチューニングなしで放射線画像特徴を保持するかを評価する。
• CLIPテキストエンコーダと医療 prompting の潜在的なドメイン内エンコーダを評価する。
• テキスト投影、テキスト inversion、U-Net微調整など、ドメイン整合性を向上させる戦略を検討する。
• 合成CXRsに臨床的に関連する異常を挿入する能力を示すとともに、診断内容を保持する。
• 放射線科医のレビューと下流の分類器による定量的・定性的検証。

提案手法

• 胸部X線データセット（CheXpert, MIMIC-CXR）と百万のLAION-400Mプロンプトをトレーニング信号として使用。
• Stable DiffusionをVAE、U-Net、テキストエンコーダに分解して、ドメイン内機能をテスト。
• RMSE、PSNR、SSIM、Fréchet Inception Distance (FID) を用いてVAE再構成品質を評価。
• CLIPを含む複数のテキストエンコーダと、CLSトークン、平均、プーラーなど様々な方法で埋め込みを抽出。
• テキスト投影を実験して、ドメイン内テキスト埋め込みをCLIP潜在空間に写像。
• Textual Inversionを適用して、 pleural effusion などの新しいドメイン特定トークンを少数-shotで学習。
• prior有無でU-Netを微調整して、放射線画像生成を改善し異常の挿入を可能にする。）

実験結果

リサーチクエスチョン

• RQ1 凍結されたCLIPテキストエンコーダは、CXRsを生成する際に放射線 prompting に対して医学的に有効な埋め込みを生成できるか？
• RQ2 ドメイン内エンコーダまたはプロジェクションベースの写像は、元のCLIPエンコーダより放射線画像品質を向上させるか？
• RQ3 テキスト inversionは少数の例で複雑な医療概念を学習するのに有効か？
• RQ4 U-Netを微調整すると高忠実度のCXR生成と病理の正確な挿入が可能になるか？
• RQ5 VAE再構成品質と下流の分類器の性能は、潜在拡散処理後に臨床的に関連する特徴の保持を反映するか？

主な発見

• Stable DiffusionのVAEは、追加のファインチューニングなしで任意の解像度のCXRsを再構成でき、臨床的に関連する特徴を保持している。
• 凍結されたCLIPテキストエンコーダは、他の方法と組み合わせて医学的に正確な画像生成を可能にする強力な医療埋め込みを提供する。
• 実験では、CLIPをドメイン内エンコーダに置き換えても、CLIPベースの設定を上回らなかった。
• テキスト inversionは pleural effusion のような複雑な医療概念を少数-shotで学習できる。
• U-Net微調整は最も大きな改善をもたらし、高忠実度のCXRsを可能にし、特定の病理を挿入しつつ診断上の手掛かりを維持し、priorを使用した場合 pleural effusion で下流分類器AUCがほぼ完璧（0.98）に達する。