[论文解读] Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains

Pierre Chambon, Christian Bluethgen+2 more|arXiv (Cornell University)|Oct 9, 2022

Radiomics and Machine Learning in Medical Imaging被引用 44

一句话总结

本文研究通过分析并微调其 VAE、U-Net 和 CLIP 文本编码器来改进 Stable Diffusion，用以生成医学上准确的胸部 X 线图像（CXR），包括可控的异常。

ABSTRACT

Multi-modal foundation models are typically trained on millions of pairs of natural images and text captions, frequently obtained through web-crawling approaches. Although such models depict excellent generative capabilities, they do not typically generalize well to specific domains such as medical images that have fundamentally shifted distributions compared to natural images. Building generative models for medical images that faithfully depict clinical context may help alleviate the paucity of healthcare datasets. Thus, in this study, we seek to research and expand the representational capabilities of large pretrained foundation models to medical concepts, specifically for leveraging the Stable Diffusion model to generate domain specific images found in medical imaging. We explore the sub-components of the Stable Diffusion pipeline (the variational autoencoder, the U-Net and the text-encoder) to fine-tune the model to generate medical images. We benchmark the efficacy of these efforts using quantitative image quality metrics and qualitative radiologist-driven evaluations that accurately represent the clinical content of conditional text prompts. Our best-performing model improves upon the stable diffusion baseline and can be conditioned to insert a realistic-looking abnormality on a synthetic radiology image, while maintaining a 95% accuracy on a classifier trained to detect the abnormality.

研究动机与目标

• 评估在不进行领域特定微调的情况下，Stable Diffusion 的 VAE 是否能保留放射学特征。
• 评估 CLIP 文本编码器及潜在的领域内文本编码器在医学提示中的潜力。
• 探索改进领域对齐的策略：文本投影、文本反演以及对 U-Net 的微调。
• 展示在合成 CXRs 中插入临床相关异常的能力，同时保留诊断内容。
• 通过放射科医师评审和下游分类器进行定量与定性验证图像质量及临床相关性。

提出的方法

• 使用胸部 X 线数据集（CheXpert、MIMIC-CXR）及一百万个 LAION-400M 提示用于训练信号。
• 将 Stable Diffusion 分解为 VAE、U-Net 和文本编码器，以测试领域内能力。
• 使用 RMSE、PSNR、SSIM 和 Fréchet Inception Distance (FID) 评估 VAE 重建质量。
• 评估多种文本编码器（包括 CLIP 与领域特定的 BERT 变体），并使用多种方法提取嵌入（CLS 标记、均值、pooler）。
• 尝试文本投影，将领域内文本嵌入映射到 CLIP 潜变量空间。
• 应用 Textual Inversion 以少样本方式学习新的领域特定标记（如胸腔积液）。
• 对 U-Net 进行微调（有先验与无先验两种情形），以改善放射影像生成并实现异常的插入。

实验结果

研究问题

• RQ1 在生成 CXRs 时，冻结的 CLIP 文本编码器是否能够为放射学提示生成医学有效的嵌入？
• RQ2 领域内文本编码器或基于投影的映射是否相比原始 CLIP 编码器提升放射学图像质量？
• RQ3 少样本情况下，文本反演是否有效用于学习复杂的医学概念？
• RQ4 微调 U-Net 是否能实现高保真度的胸部 X 线生成以及如胸腔积液等病理的准确插入？
• RQ5 在潜在扩散处理后，VAE 重建质量和下游分类器性能如何反映临床相关特征的保留程度？

主要发现

• Stable Diffusion 的 VAE 能在任意分辨率下重建 CXRs，而无需额外微调，保留临床相关特征。
• 冻结的 CLIP 文本编码器提供强大的医学嵌入，使与其他方法结合时能够生成医学上准确的图像。
• 在他们的实验中，用领域内文本编码器替代 CLIP 并未超过基于 CLIP 的设置。
• 文本反演在少样本条件下可以学习诸如胸腔积液之类的复杂医学概念。
• 对 U-Net 的微调带来最大的收益，使得高保真度的 CXRs 成为可能，并能在保持诊断线索的同时插入特定病变；并且在使用 prior 时，对胸腔积液的下游分类器 AUC 达到接近完美（0.98）。