[논문 리뷰] SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization

Yichi Zhang, Yang, Jin외 3명|arXiv (Cornell University)|2023. 12. 11.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 일致성 정규화를 통해 추가적인 감독 브랜치로 Segment Anything Model(SAM)을 활용함으로써, 반감독 의료 영상 분할 성능을 향상시키는 SemiSAM을 제안한다. 분할 모델의 예측 결과를 바탕으로 SAM에 대한 프롬프트를 생성하고, SAM과 주요 모델 간의 출력 일致성을 강제함으로써, 특히 1~4개의 레이블이 있는 경우 성능을 크게 향상시킨다. 기존 반감독 방법 대비 최대 10.78% 높은 Dice 점수를 기록한다.

ABSTRACT

Semi-supervised learning has attracted much attention due to its less dependence on acquiring abundant annotations from experts compared to fully supervised methods, which is especially important for medical image segmentation which typically requires intensive pixel/voxel-wise labeling by domain experts. Although semi-supervised methods can improve the performance by utilizing unlabeled data, there are still gaps between fully supervised methods under extremely limited annotation scenarios. In this paper, we propose a simple yet efficient strategy to explore the usage of the Segment Anything Model (SAM) for enhancing semi-supervised medical image segmentation. Concretely, the segmentation model trained with domain knowledge provides information for localization and generating input prompts to the SAM. Then the generated pseudo-labels of SAM are utilized as additional supervision to assist in the learning procedure of the semi-supervised framework. Extensive experiments demonstrate that SemiSAM significantly improves the performance of existing semi-supervised frameworks when only one or a few labeled images are available and shows strong efficiency as a plug-and-play strategy for semi-supervised medical image segmentation.

연구 동기 및 목표

• 의료 영상 분할에서 높은 애너테이션 비용 문제를 해결하기 위해, 특히 매우 제한된 레이블 데이터가 존재할 경우에 대비한다.
• 기초 모델인 SAM과 같은 모델이 반감독 학습 프레임워크에 어떻게 통합될 수 있는지 탐색한다.
• SAM에서 생성한 가짜 레이블을 추가 감독 신호로 도입함으로써 기존 반감독 분할 프레임워크의 성능을 향상시킨다.
• 저샷 의료 영상 분할 환경에서 SAM 지원 일치 정규화의 효과를 평가한다.

제안 방법

• 분할 모델은 레이블이 없는 이미지에 대한 자신의 예측 기반으로 SAM에 대한 위치 정보와 프롬프트 포인트를 생성한다.
• SAM은 생성된 프롬프트를 사용하여 동일한 이미지에 대해 가짜 레이블을 생성하고, 이를 추가적인 감독으로 활용한다.
• 분할 모델의 예측과 SAM의 가짜 레이블 간의 일致성을 확보하기 위해 일치 정규화 손실을 적용한다.
• Mean Teacher 및 Uncertainty-Aware Mean Teacher와 같은 기존 반감독 프레임워크에 이 방법을 통합한다.
• 수동 프롬프트 생성을 피하기 위해 모델이 생성한 프롬프트를 사용함으로써 인간 간섭 없이 제로샷 유사 가이던스를 제공한다.
• 레이블된 데이터에 대한 지도 학습 손실, 레이블이 없는 데이터에 대한 일치 손실, 그리고 SAM 기반 일치 정규화 손실을 조합하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 SAM은 인간이 애너테이션한 데이터가 극히 적은 반감독 의료 영상 분할에서 추가 감독의 근원으로 효과적으로 활용될 수 있는가?
• RQ2 저샷 설정에서 기존 반감독 방법과 비교해 SAM 지원 일치 정규화가 분할 성능을 얼마나 향상시키는가?
• RQ3 더 많은 레이블 이미지가 가용할 경우 SAM 통합으로 얻는 성능 향상은 감소하는가?
• RQ4 자동으로 생성된 프롬프트의 품질이 훈련 과정에서 SAM의 가짜 레이블 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 단 1개의 레이블 사례만으로도 SemiSAM은 기존 Mean Teacher 기준 30.60%에서 41.38%로 Dice 점수를 향상시켜 상대적 향상률 10.78%를 기록했다.
• 2개의 레이블 사례를 사용했을 경우, Dice 점수는 58.17%에서 69.46%로 상승하여 11.29% 향상되었다.
• 4개의 레이블 사례를 사용했을 경우, Dice 점수는 72.40%에서 80.42%로 상승하여 기준 대비 8.02% 향상되었다.
• SAM 기반 성능 향상은 저자료 환경에서 가장 두드러졌으며, 8개 이상의 레이블 이미지가 존재할 경우 감소했다.
• 동일한 수의 프롬프트를 사용할 때, SAM 기반 가짜 레이블이 기존의 상호작용식 SAM 방법보다 우수한 성능을 보였다. 이는 자동 프롬프트 생성의 이점이 있음을 시사한다.
• 95% Hausdorff 거리(95HD)와 평균 표면 거리(ASD) 모두 감소하여 경계 정확도 향상이 확인되었다.