[논문 리뷰] SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation

Yizhe Zhang, Tao Zhou외 4명|arXiv (Cornell University)|2023. 08. 26.

AI in cancer detection인용 수 6

한 줄 요약

SamDSK는 최소한의 레이블된 데이터를 사용하여 의료 영상 분할 성능을 향상시키기 위해 세그먼트 어ény웨어 모델(SAM)과 도메인 특화 지식(DSK)을 결합한 반복적 준지도 학습 프레임워크를 제안한다. SAM이 생성한 제안과 픽셀 수준/이미지 수준의 DSK 간 최적의 매칭을 통해 레이블된 데이터 집합을 점진적으로 확장하며, 레이블된 데이터가 10%에 불과한 상황에서도 유방암, 폴립, 피부 병변 분할 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The Segment Anything Model (SAM) exhibits a capability to segment a wide array of objects in natural images, serving as a versatile perceptual tool for various downstream image segmentation tasks. In contrast, medical image segmentation tasks often rely on domain-specific knowledge (DSK). In this paper, we propose a novel method that combines the segmentation foundation model (i.e., SAM) with domain-specific knowledge for reliable utilization of unlabeled images in building a medical image segmentation model. Our new method is iterative and consists of two main stages: (1) segmentation model training; (2) expanding the labeled set by using the trained segmentation model, an unlabeled set, SAM, and domain-specific knowledge. These two stages are repeated until no more samples are added to the labeled set. A novel optimal-matching-based method is developed for combining the SAM-generated segmentation proposals and pixel-level and image-level DSK for constructing annotations of unlabeled images in the iterative stage (2). In experiments, we demonstrate the effectiveness of our proposed method for breast cancer segmentation in ultrasound images, polyp segmentation in endoscopic images, and skin lesion segmentation in dermoscopic images. Our work initiates a new direction of semi-supervised learning for medical image segmentation: the segmentation foundation model can be harnessed as a valuable tool for label-efficient segmentation learning in medical image segmentation.

연구 동기 및 목표

• 레이블된 의료 영상의 수가 제한된 문제를 해결하기 위해, 풍부한 미레이블된 데이터를 준지도 학습을 통해 활용한다.
• 의료 영상의 신뢰할 수 있는 가짜 레이블 생성을 위해 도메인 특화 지식(DSK)을 세그먼트 어ény웨어 모델(SAM)과 통합한다.
• SAM과 DSK를 활용하여 레이블된 데이터 집합을 확장하고, 분할 모델을 공동으로 훈련하는 반복적 프레임워크를 개발한다.
• 기초 모델 예측과 작업에 특화된 제약 조건을 조합하여 저자료 환경에서의 분할 성능을 향상시킨다.
• 다양한 영상 모odalities에 적용 가능한 강력하고 레이블 효율적인 의료 영상 분할 방법을 확립한다.

제안 방법

• 프로세스는 반복적인 두 단계 과정을 사용한다: (1) 초기 레이블된 데이터 세트를 기반으로 분할 모델을 훈련하고, (2) 미레이블된 이미지를 활용해 레이블된 데이터 집합을 확장한다.
• 두 번째 단계에서 훈련된 모델은 픽셀 수준의 DSK(분할 확률 맵)를 생성하고, 이미지 수준의 DSK는 각 이미지당 예상되는 영역 수와 같은 제약 조건을 강제한다.
• SAM은 각 미레이블된 이미지에 대해 분할 제안을 생성하며, 이 제안들은 새로운 매칭 기반 애너테이션 구축 방법을 통해 DSK와 최적의 매칭을 수행한다.
• 최적의 매칭 과정은 모델의 예측과 도메인 특화 제약 조건 양쪽에 가장 잘 부합하는 고품질의 제안을 선택한다.
• 확장된 레이블된 데이터 집합을 사용해 분할 모델을 재훈련하고, 더 이상 샘플이 추가되지 않을 때까지 이 과정을 반복한다.
• 프레임워크는 SAM의 제로샷 일반화 능력과 의료 도메인 사전 지식을 통합하여 가짜 레이블 품질과 모델의 강건성을 향상시킨다.

Figure 1: A high-level comparison between a conventional approach (left) and our proposed SamDSK (right) for semi-supervised learning (SSL) in medical image segmentation.

실험 결과

연구 질문

• RQ1 SAM을 도메인 특화 지식과 효과적으로 통합하여 의료 영상 분할에서 가짜 레이블 품질을 향상시킬 수 있는가?
• RQ2 DSK 증강 가짜 레이블을 활용한 반복적 모델 재훈련이 저자료 환경에서의 분할 성능에 어떤 영향을 미치는가?
• RQ3 SAM 제안과 DSK 간의 최적 매칭이 불확실성 기반 또는 신뢰도 기반 선택 방식보다 샘플 확장을 위해 더 나은 성능을 내는가?
• RQ4 초음파, 내 endoscopy, 피부 현미경 영상 등 다양한 의료 영상 모달리티에서 SAM의 성능은 어떻게 변화하는가?
• RQ5 이미지 수준과 픽셀 수준의 DSK를 통합하면 SAM 단독 사용보다 더 일관되고 정확한 분할 애너테이션을 얻을 수 있는가?

주요 결과

• SamDSK는 레이블된 데이터가 10%에 불과한 초음파 영상에서 유방암 분할 작업에서 최신 기술 수준의 성능을 달성했으며, 기준 모델 및 경쟁하는 준지도 학습 방법 대비 유의미한 mIoU 향상을 보였다.
• 내 endoscopy 영상에서 폴립 분할 작업에서는 최적의 매칭을 통해 선택된 상위 10% 샘플에서 95%의 mIoU를 기록하여 고품질의 가짜 레이블 선택 능력을 입증했다.
• ISIC 2018 데이터셋에서 피부 병변 분할 작업에서는 경쟁 방법들을 능가했으며, 레이블된 데이터가 10%에 불과한 상황에서도 높은 품질의 선택 샘플에서 92%의 mIoU를 달성했다.
• β 점수를 활용한 최적 매칭 기반 선택 방식이 모델의 불확실성 및 신뢰도 기반 선택보다 높은 성능을 보였으며, 분할 품질 향상에서 통계적으로 유의미한 개선을 이뤘다.
• 폴립 분할 작업에서 SAM이 생성한 제안은 참값과 매칭되었을 때 89.1%의 Dice 계수를 기록했지만, 악성 유방암의 경우는 64.4%에 그쳐 모달리티에 따라 성능이 다름을 시사했다.
• 다중 라운드 반복 프로세스는 모든 데이터셋에서 모델 성능을 지속적으로 향상시켰으며, SamDSK 프레임워크의 안정성과 확장 가능성을 확인했다.

Figure 2: The main steps of our proposed SamDSK method. Step-0 to step-4 are repeated iteratively until a certain criterion is met (e.g., no more samples are added to the labeled set). Step-0 may need to run only once if SAM remains unchanged during the process.