[논문 리뷰] CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

Jingyang Lin, Yingda Xia외 6명|arXiv (Cornell University)|2024. 04. 23.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

CT-GLIP는 전신 CT 스캔과 방사선 검사 보고서를 위한 새로운 3D 지능형 시각-언어 사전학습 프레임워크를 제안한다. 기관 수준의 이미지-텍스트 쌍과 병변 사전을 활용하여 대비 학습을 향상시킨다. 이는 기관 및 병변 인식에서 최신 기술 수준의 zero-shot 및 파인튜닝 성능을 달성하며, 비틀림 없는 CLIP보다 비강화 CT 스캔에서 암 검출의 AUC에서 최대 7.7% 향상된다.

ABSTRACT

3D medical vision-language (VL) pretraining has shown potential in radiology by leveraging large-scale multimodal datasets with CT-report pairs. However, existing methods primarily rely on a global VL alignment directly adapted from 2D scenarios. The entire 3D image is transformed into one global embedding, resulting in a loss of sparse but critical semantics essential for accurately aligning with the corresponding diagnosis. To address this limitation, we propose CT-GLIP, a 3D Grounded Language-Image Pretrained model that constructs fine-grained CT-report pairs to enhance extit{grounded} cross-modal contrastive learning, effectively aligning grounded visual features with precise textual descriptions. Leveraging the grounded cross-modal alignment, CT-GLIP improves performance across diverse downstream tasks and can even identify organs and abnormalities in a zero-shot manner using natural language. CT-GLIP is trained on a multimodal CT dataset comprising 44,011 organ-level CT-report pairs from 17,702 patients, covering 104 organs. Evaluation is conducted on four downstream tasks: zero-shot organ recognition (OR), zero-shot abnormality detection (AD), tumor detection (TD), and tumor segmentation (TS). Empirical results show that it outperforms its counterparts with global VL alignment. Compared to vanilla CLIP, CT-GLIP achieves average performance improvements of 15.1% of F1 score, 1.9% of AUC, and 3.2% of DSC for zero-shot AD, TD, and TS tasks, respectively. This study highlights the significance of grounded VL alignment in enabling 3D medical VL foundation models to understand sparse representations within CT scans.

연구 동기 및 목표

• 2D 이미지에서 3D 전신 CT 스캔으로 의료 시각-언어 사전학습(Med-VLP)을 확장하는 것. 이는 더 복잡하고 임상적으로 관련성이 있지만 데이터 희소성과 표현 도전 과제로 인해 연구가 부족한 분야이다.
• 희소한 3D 시각적 표현을 정밀한 텍스트 기술과 정렬하는 데 어려움을 해결하기 위해 기관 수준의 기반 지능형 이미지-텍스트 쌍을 도입하는 것.
• 병변 사전을 통해 다양한 부정적 대비 쌍의 수와 다양성을 늘림으로써 3D Med-VLP에서의 대비 학습을 향상시키는 것.
• 다양한 기관과 암 유형에서 기관 분류, 병변 탐지, 종양 세분화에 대해 zero-shot 및 파인튜닝 시나리오에서 기반 지능형 이미지-텍스트 정렬의 효과를 검증하는 것.
• 104개 기관에서 17,702명 환자로부터 확보한 44,011개의 기관 수준의 이미지-보고서 쌍을 기반으로 3D Med-VLP를 위한 벤치마크 데이터셋과 평가 프로토콜을 수립하는 것.

제안 방법

• TotalSegmentator를 사용하여 3D CT 스캔에서 104개 기관을 세분화함으로써 기관 수준의 이미지-텍스트 쌍을 구성하여 정밀한 시각-언어 기반 정렬을 가능하게 한다.
• LLaMA-2와 수동 검증을 사용하여 방사선 검사 보고서를 분석하여 기관별 진단 기술을 추출함으로써 간결하고 기반 지능형 텍스트 구성 요소를 생성한다.
• 두 가지 대비 학습 목표를 도입한다: 기본 해부학적 개념 이해를 위한 기관-텍스트 정렬과 병변의 zero-shot 탐지를 위한 병변-텍스트 정렬.
• 다양한 부정적 텍스트 기술을 생성하기 위해 병변 사전을 구축함으로써 대비 쌍의 수와 다양성을 늘리고 표현 학습을 향상시킨다.
• CNN과 시각 Transformer(ViT) 백본을 모두 사용하여 다중 모odal 대비 손실을 기반으로 프레임워크를 훈련함으로써 종양 세분화 및 암 스크리닝과 같은 후속 작업으로의 전이를 가능하게 한다.
• 모델은 700개의 비강화 CT 스캔과 조직병리학적 확진된 종양 마스크를 포함한 전용 암 스크리닝 데이터셋에서 파인튜닝되어 평가된다.

실험 결과

연구 질문

• RQ1 기관 수준의 이미지-텍스트 쌍을 활용한 기반 지능형 3D 시각-언어 사전학습은 전신 CT 스캔에서 기관 및 병변의 zero-shot 인식 성능을 향상시킬 수 있는가?
• RQ2 제한된 학습 샘플 수가 있는 상황에서 병변 사전의 사용이 3D Med-VLP에서의 대비 학습에 어떻게 기여하는가?
• RQ3 제안된 CT-GLIP 프레임워크는 3D 의료 영상에서 zero-shot 및 파인튜닝 설정 모두에서 표준 전체 이미지-보고서 정렬 및 비틀림 없는 CLIP보다 우수한 성능을 보일 수 있는가?
• RQ4 CT-GLIP는 비강화 CT 스캔에서 종양 세분화 및 탐지와 같은 다암 스크리닝 작업의 후속 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 자연어 기술을 사용하여 희귀하거나 미리 보지 못한 병변을 zero-shot 방식으로 일반화할 수 있는가?

주요 결과

• CT-GLIP는 1,130명 환자로 구성된 테스트 세트에서 ViT 기반 설정에서 비틀림 없는 CLIP보다 2.63% 높은 71.90%의 zero-shot 병변 탐지 F1 스코어를 기록했다.
• 종양 세분화를 위한 파인튜닝에서, CT-GLIP는 처음부터 학습하는 것보다 평균 Dice 스코어를 4.8% 향상시키고, 비틀림 없는 CLIP를 사용한 파인튜닝보다 1.3% 향상시켰다.
• 암 스크리닝에서, CT-GLIP는 처음부터 학습하는 것보다 평균 AUC 스코어를 7.4% 높이고, 비틀림 없는 CLIP를 사용한 파인튜닝보다 2.2% 향상시켰다.
• MiT 기반 백본에서, CT-GLIP는 처음부터 학습하는 것보다 평균 종양 세분화 Dice 스코어를 13.1% 향상시키고, 비틀림 없는 CLIP를 사용한 파인튜닝보다 5.1% 향상시켰다.
• 암 검출에서, CT-GLIP는 처음부터 학습하는 것보다 평균 AUC를 7.7% 높이고, MiT 백본에서 비틀림 없는 CLIP를 사용한 파인튜닝보다 1.6% 향상시켰다.
• 모델는 강력한 zero-shot 일반화 성능을 보이며, 파인튜닝 없이 자연어 프롬프트만으로 86.24%의 경우에서 기관과 병변을 정확히 식별했다.