[논문 리뷰] MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation

Taha Koleilat, Hojat Asgariandehkordi외 2명|arXiv (Cornell University)|2024. 09. 28.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

MedCLIP-SAMv2는 CT, MRI, 초음파, X-ray에서 제로샷 및 약한 지도 학습을 위한 텍스트 기반 의료 영상 분할 프레임워크를 도입한다. 이는 미세조정된 BiomedCLIP을 Segment-Anything-Model(SAM)과 통합하여, 최소한의 애너테이션으로도 최신 기술 수준의 성능을 달성한다. 새로운 분리된 하드 음성 노이즈 대비 추정 손실(DHN-NCE)과 다중모달 정보 블로킹(M2IB)을 활용해 시각적 프롬프트 생성을 최적화함으로써, 복잡한 종양 분할 작업에서 이전 방법들을 크게 능가하는 성능을 기록한다.

ABSTRACT

Segmentation of anatomical structures and pathological regions in medical images is essential for modern clinical diagnosis, disease research, and treatment planning. While significant advancements have been made in deep learning-based segmentation techniques, many of these methods still suffer from limitations in data efficiency, generalizability, and interactivity. As a result, developing precise segmentation methods that require fewer labeled datasets remains a critical challenge in medical image analysis. Recently, the introduction of foundation models like CLIP and Segment-Anything-Model (SAM), with robust cross-domain representations, has paved the way for interactive and universal image segmentation. However, further exploration of these models for data-efficient segmentation in medical imaging is still needed and highly relevant. In this paper, we introduce MedCLIP-SAMv2, a novel framework that integrates the CLIP and SAM models to perform segmentation on clinical scans using text prompts, in both zero-shot and weakly supervised settings. Our approach includes fine-tuning the BiomedCLIP model with a new Decoupled Hard Negative Noise Contrastive Estimation (DHN-NCE) loss, and leveraging the Multi-modal Information Bottleneck (M2IB) to create visual prompts for generating segmentation masks from SAM in the zero-shot setting. We also investigate using zero-shot segmentation labels within a weakly supervised paradigm to enhance segmentation quality further. Extensive testing across four diverse segmentation tasks and medical imaging modalities (breast tumor ultrasound, brain tumor MRI, lung X-ray, and lung CT) demonstrates the high accuracy of our proposed framework. Our code is available at https://github.com/HealthX-Lab/MedCLIP-SAMv2.

연구 동기 및 목표

• 최소한의 애너테이션 데이터로 제로샷 및 약한 지도 학습을 가능하게 하여 의료 영상 분할에서의 데이터 부족 문제를 해결한다.
• 특정 작업에 맞게 재학습이 필요 없이 다양한 의료 영상 모odalities(CT, MRI, 초음파, X-ray) 간에 일반화 능력과 강건성을 향상시킨다.
• 자연어 프롬프트를 활용한 상호작용형 텍스트 기반 분할을 지원하는 프레임워크를 개발하여 임상 적용성과 해석 가능성을 높인다.
• 약한 지도 학습 설정에서 불확실성 추정을 통해 모델 신뢰도를 향상시켜 임상의가 위험도가 높은 예측 영역을 식별할 수 있도록 한다.
• SAM의 프롬프트 의존성 문제를 극복하기 위해 지도된 분할 레이블이 없이도 CLIP 기반 표현에서 신뢰할 수 있는 시각적 프롬프트를 생성한다.

제안 방법

• 의료 영상-텍스트 정렬을 위한 BiomedCLIP 표현 학습을 향상시키기 위해 새로운 미세조정 손실인 분리된 하드 음성 노이즈 대비 추정(DHN-NCE)을 제안한다.
• 텍스트 임bedding에서 고품질의 시각적 프롬프트를 생성하기 위해 다중모달 정보 블로킹(M2IB)을 도입하여, SAM을 통한 제로샷 분할을 가능하게 한다.
• LLM 추론과 앙상블을 활용한 텍스트 프롬프트 엔지니어링을 통해 프롬프트 품질을 최적화하고 복잡한 해부학적 영역에서의 분할 정확도를 향상시킨다.
• 제로샷 분할에서 생성된 허위 레이블을 활용해 nnUNet을 약한 지도 학습 설정에서 미세조정함으로써, 폐 CT와 같은 도전적인 데이터셋에서 성능을 향상시킨다.
• 체크포인트 앙상블을 활용해 약한 지도 학습에서 불확실성 추정을 수행하여, 분할 예측에 대한 신뢰도 점수를 제공한다.
• CLIP 기반의 시각적 프롬프트 생성과 SAM의 제로샷 마스크 헤드를 조합하여, 추론 시에 지도된 레이블이 필요 없이 정확한 분할 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 BiomedCLIP과 같은 비전-언어 기초 모델이 새로운 대비 손실(DHN-NCE)을 통해 효과적으로 미세조정되어 제로샷 의료 영상 분할 성능을 향상시킬 수 있는가?
• RQ2 다중모달 정보 블로킹(M2IB)이 제로샷 설정에서 정확한 SAM 기반 분할을 가능하게 하기 위해 얼마나 높은 품질의 시각적 프롬프트를 생성할 수 있는가?
• RQ3 특히 LLM 추론과 앙상블을 통한 텍스트 프롬프트 엔지니어링은 다양한 해부학적 구조와 영상 모달리티에서 분할 성능에 어떤 영향을 미치는가?
• RQ4 제로샷 분할에서 생성된 허위 레이블이 복잡한 3D 구조(예: 폐 종양)의 CT 스캔에서 약한 지도 학습 설정에서 효과적으로 성능 향상에 기여할 수 있는가?
• RQ5 허위 레이블 데이터에 대해 체크포인트 앙상블 기반의 불확실성 추정이 낮은 데이터 환경에서 임상적 신뢰도와 예측 신뢰도를 향상시키는가?

주요 결과

• MedCLIP-SAMv2는 CT, MRI, 초음파, X-ray의 네 가지 의료 영상 모달리티에서 제로샷 분할 성능이 최신 기술 수준을 초월하며, 기존 최신 기술 수준의 방법들을 능가한다.
• M2IB와 DHN-NCE의 통합은 특히 뇌 및 유방 종양과 같은 작은 복잡한 구조를 탐지하는 데 있어 제로샷 분할 정확도를 크게 향상시킨다.
• LLM 추론과 앙상블로 향상된 텍스트 프롬프트는 해부학적으로 복잡한 작업에서 세밀한 이해가 요구되는 경우에 뛰어난 분할 결과를 제공한다.
• 제로샷 분할에서 생성된 허위 레이블을 활용한 약한 지도 학습은 성능 향상에 뚜렷한 기여를 하며, 폐 CT 분할에서 가장 큰 향상이 관찰된다.
• 허위 레이블 데이터에 대해 체크포인트 앙상블 기반의 불확실성 추정은 임상적으로 유용한 신뢰도 점수를 제공하여 위험도가 높은 예측 영역을 식별할 수 있도록 한다.
• SAM은 최적의 시각적 프롬프트가 아니더라도 높은 성능을 유지하는 강건성을 보이며, 실제 환경에서의 일반화 능력을 입증한다.