[논문 리뷰] CLIP in Medical Imaging: A Survey

Zihao Zhao, Yu-Xiao Liu외 9명|arXiv (Cornell University)|2023. 12. 12.

Radiomics and Machine Learning in Medical Imaging인용 수 29

한 줄 요약

이 설문조사는 의료 영상에 CLIP이 어떻게 적용되는지 분석하며, 정제된 사전 학습 방법과 CLIP 기반 응용, 도전과제, 데이터셋, 향후 방향을 상세히 다룹니다.

ABSTRACT

Contrastive Language-Image Pre-training (CLIP), a simple yet effective pre-training paradigm, successfully introduces text supervision to vision models. It has shown promising results across various tasks due to its generalizability and interpretability. The use of CLIP has recently gained increasing interest in the medical imaging domain, serving as a pre-training paradigm for image-text alignment, or a critical component in diverse clinical tasks. With the aim of facilitating a deeper understanding of this promising direction, this survey offers an in-depth exploration of the CLIP within the domain of medical imaging, regarding both refined CLIP pre-training and CLIP-driven applications. In this paper, we (1) first start with a brief introduction to the fundamentals of CLIP methodology; (2) then investigate the adaptation of CLIP pre-training in the medical imaging domain, focusing on how to optimize CLIP given characteristics of medical images and reports; (3) further explore practical utilization of CLIP pre-trained models in various tasks, including classification, dense prediction, and cross-modal tasks; and (4) finally discuss existing limitations of CLIP in the context of medical imaging, and propose forward-looking directions to address the demands of medical imaging domain. Studies featuring technical and practical value are both investigated. We expect this survey will provide researchers with a holistic understanding of the CLIP paradigm and its potential implications. The project page of this survey can also be found on https://github.com/zhaozh10/Awesome-CLIP-in-Medical-Imaging.

연구 동기 및 목표

• CLIP 개념과 변형에 대한 포괄적인 개요를 제공한다.
• 의료 이미지와 보고서에 CLIP 사전 학습이 어떻게 적응되는지 분석한다.
• 태스크 전반에 걸친 CLIP 기반 의료 영상 응용을 요약한다.
• 의료 CLIP의 도전과제 및 향후 연구 방향을 논의한다.

제안 방법

• CLIP 관련 의료 영상 연구의 분류 체계를 제시한다.
• 대조적 사전 학습 목적과 제로샷 일반화 방정식(식 (1)-(4) CLIP의 ).
• 글로벌 중심 CLIP을 넘어 지역-텍스트 정합을 개선하는 GLoRIA, LoVT와 같은 다중 스케일 대조 방법과 개선점을 요약한다.
• 의료 CLIP 사전 학습을 위한 데이터 효율적 및 지식 보강 전략을 분류한다.
• 공개적으로 이용 가능한 의료 이미지-텍스트 데이터셋과 관련 CLIP 모델을 검토한다.

Fig. 1: Taxonomy of studies focusing on CLIP in the field of medical imaging.

실험 결과

연구 질문

• RQ1 의료 이미지 및 보고서의 특성에 CLIP 사전 학습을 어떻게 적응시킬 수 있는가?
• RQ2 의료 데이터에서 다중 스케일 이미지-텍스트 정렬을 달성하기 위한 효과적인 전략은 무엇인가?
• RQ3 데이터 효율성과 지식 통합이 의료 CLIP 성능을 어떻게 향상시킬 수 있는가?
• RQ4 어떤 태스크와 데이터셋이 CLIP 기반 의료 영상 가능성을 보여주는가?

주요 결과

• CLIP의 이미지-텍스트 사전 학습은 의료 영상으로 확장될 수 있으며, 제로샷 도메인 식별 및 교차 모달 태스크를 가능하게 한다.
• 다중 스케일 대조 방법들(예: GLoRIA, LoVT)은 글로벌 수준의 CLIP를 넘어서 로컬-텍스트와 로컬-이미지 정합을 개선하여 세그먼트화 및 탐지에 도움이 된다.
• 데이터 효율적 전략(상관관계 주도 대조, 문장/섹션 수준 프롬프트, 지식 프롬프트)은 작은 의료 데이터셋의 한계를 완화하고 강건성을 향상시킨다.
• 다양한 데이터셋(예: ROCO, MedICaT, PMC-OA, MIMIC-CXR, PadChest)은 의료 이미지-텍스트 연구를 지원하고 이 도메인에서 사전 학습된 CLIP 모델의 이용을 가능하게 한다.
• GLIP, CLIPSeg, CRIS와 같은 변형은 CLIP를 탐지 및 세그먼테이션으로 확장하여 병변 위치 지정 및 문장-근거화와 같은 의료 응용에 정보를 제공한다.

Fig. 2: The number of medical imaging papers focusing on CLIP has increased rapidly in recent years.