[논문 리뷰] Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains

Pierre Chambon, Christian Bluethgen외 2명|arXiv (Cornell University)|2022. 10. 09.

Radiomics and Machine Learning in Medical Imaging인용 수 44

한 줄 요약

이 논문은 의학적으로 정확한 합성 CXRs를 생성하기 위해 안정적인 확산 모델의 VAE, U-Net, CLIP 텍스트 인코더를 분석하고 미세조정하여 흉부 X선 생성에 적응하는 것을 연구하며 조절 가능한 이상을 포함합니다.

ABSTRACT

Multi-modal foundation models are typically trained on millions of pairs of natural images and text captions, frequently obtained through web-crawling approaches. Although such models depict excellent generative capabilities, they do not typically generalize well to specific domains such as medical images that have fundamentally shifted distributions compared to natural images. Building generative models for medical images that faithfully depict clinical context may help alleviate the paucity of healthcare datasets. Thus, in this study, we seek to research and expand the representational capabilities of large pretrained foundation models to medical concepts, specifically for leveraging the Stable Diffusion model to generate domain specific images found in medical imaging. We explore the sub-components of the Stable Diffusion pipeline (the variational autoencoder, the U-Net and the text-encoder) to fine-tune the model to generate medical images. We benchmark the efficacy of these efforts using quantitative image quality metrics and qualitative radiologist-driven evaluations that accurately represent the clinical content of conditional text prompts. Our best-performing model improves upon the stable diffusion baseline and can be conditioned to insert a realistic-looking abnormality on a synthetic radiology image, while maintaining a 95% accuracy on a classifier trained to detect the abnormality.

연구 동기 및 목표

• Stable Diffusion의 VAE가 도메인 특화 미세조정 없이 방사선학적 특징을 보존하는지 평가한다.
• 의료 프롬프트를 위한 CLIP 텍스트 인코더와 도메인 내 텍스트 인코더의 가능성을 평가한다.
• 도메인 정렬 향상을 위한 전략 탐구: 텍스트 투영, 텍스트 역전, 및 U-Net 미세조정을 통한 개선.
• 합성 CXRs에 임상적으로 관련된 이상 소견을 진단 내용을 보존하면서 삽입할 수 있는 능력을 시연한다.
• 방사선과 전문의 검토 및 하류 분류기를 통한 양적·질적 이미지 품질과 임상 관련성을 검증한다.

제안 방법

• CheXpert, MIMIC-CXR 등 흉부 X선 데이터세트와 학습 신호를 위한 백만 개의 LAION-400M 프롬프트를 사용한다.
• Stable Diffusion을 VAE, U-Net, 텍스트 인코더로 분해하여 도메인 내 능력을 테스트한다.
• RMSE, PSNR, SSIM, Fréchet Inception Distance (FID)를 사용하여 VAE 재구성 품질을 평가한다.
• CLIP 및 도메인 특화 BERT 변형을 포함한 여러 텍스트 인코더를 평가하고 다양한 방법(CLS 토큰, 평균, 풀러)을 사용하여 임베딩을 추출한다.
• 도메인 내 텍스트 임베딩을 CLIP 잠재 공간에 매핑하기 위한 텍스트 투영을 실험한다.
• Textual Inversion을 적용하여 도메인 특화 토큰(예: pleural effusion)을 소수 샷 방식으로 학습한다.
• 사전 정보 여부와 무관하게 U-Net을 미세조정하여 방사학 이미지 생성 품질을 향상시키고 이상 소견 삽입을 가능하게 한다.

실험 결과

연구 질문

• RQ1 frozen CLIP 텍스트 인코더가 CXRs를 생성할 때 방사선학적 프롬프트에 대해 의학적으로 타당한 임베딩을 생성할 수 있는가?
• RQ2 도메인 내 텍스트 인코더나 투영 기반 매핑이 원래 CLIP 인코더보다 방사선 이미지 품질을 향상시키는가?
• RQ3 텍스트 역전이 소수 샷으로도 복잡한 의학 개념을 학습하는 데 효과적인가?
• RQ4 U-Net의 미세조정이 고충실도 CXR 생성 및 흉막 삼출과 같은 병소를 진단 내용과 함께 정확하게 삽입하는 데 기여하는가?
• RQ5 VAE 재구성 품질과 하류 분류기 성능은 잠재 확산 처리 후에 임상적으로 관련 특징의 보존을 어떻게 반영하는가?

주요 결과

• Stable Diffusion의 VAE는 추가 미세조정 없이도 임의 해상도의 CXR를 재구성할 수 있으며 임상적으로 관련 특징을 보존한다.
• 고정된 CLIP 텍스트 인코더는 다른 방법들과 결합할 때 medically accurate 이미지 생성을 가능하게 하는 강력한 의학 임베딩을 제공한다.
• 실험에서 CLIP 기반 설정보다 도메인 내 텍스트 인코더를 사용하는 것이 CLIP를 대체로 우수하지 않았다.
• 텍스트 역전은 pleural effusion과 같은 복잡한 의학 개념을 소수 샷으로 학습할 수 있다.
• U-Net 미세조정은 가장 큰 이점을 제공하여 고충실도 CXR를 가능하게 하고 특정 병소를 삽입하면서 진단 단서를 유지하며 prior를 사용할 경우 Downstream classifier AUC(0.98)에 근접한 성능을 달성한다.