[논문 리뷰] Morphology-Enhanced CAM-Guided SAM for weakly supervised Breast Lesion Segmentation

Xin Yue, Xiaoling Liu외 6명|arXiv (Cornell University)|2023. 11. 18.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 초음파 영상에서 유방 병변 분할을 위한 약한 지도 학습(few-shot) 방법으로, 픽셀 수준의 레이블 없이도 이미지 수준의 레이블만을 사용하는 형태학적 강화 및 CAM 유도 SAM 프레임워크를 제안한다. 병변의 형태학적 사전 지식과 클래스 활성화 맵(CAM) 기반 국소화를 융합하고, Segment-Anything-Model(SAM)을 통해 예측을 정밀하게 보정함으로써, 딱도 스코어(Dice score) 74.39%를 달성하며 경계 정확도에서 지도 학습 및 약한 지도 학습 기반의 기존 방법들을 모두 능가한다.

ABSTRACT

Ultrasound imaging plays a critical role in the early detection of breast cancer. Accurate identification and segmentation of lesions are essential steps in clinical practice, requiring methods to assist physicians in lesion segmentation. However, ultrasound lesion segmentation models based on supervised learning require extensive manual labeling, which is both time-consuming and labor-intensive. In this study, we present a novel framework for weakly supervised lesion segmentation in early breast ultrasound images. Our method uses morphological enhancement and class activation map (CAM)-guided localization. Finally, we employ the Segment Anything Model (SAM), a computer vision foundation model, for detailed segmentation. This approach does not require pixel-level annotation, thereby reducing the cost of data annotation. The performance of our method is comparable to supervised learning methods that require manual annotations, achieving a Dice score of 74.39% and outperforming comparative supervised models in terms of Hausdorff distance in the BUSI dataset. These results demonstrate that our framework effectively integrates weakly supervised learning with SAM, providing a promising solution for breast cancer image analysis. The code for this study is available at: https://github.com/YueXin18/MorSeg-CAM-SAM.

연구 동기 및 목표

• 유방 초음파 병변 분할에서 비용이 많이 드는 픽셀 수준의 레이블에 대한 의존도를 줄이기 위해.
• 조기 단계의 유방암 진단에서 비정상적이고 작은 병변의 분할 정확도를 향상시키기 위해.
• 의료 전문 지식(병변의 형태학적 특성)을 딥 러닝 기반 국소화(CAM) 및 기초 모델(SAM)과 통합하기 위해.
• 자원이 제한된 임상 환경에서의 초진 선별을 위한 실현 가능하고 자원 소모가 적은 솔루션을 개발하기 위해.
• 경계 정밀도와 구조적 정확성 측면에서 기존의 약한 지도 학습 및 완전 지도 학습 방법을 능가하기 위해.

제안 방법

• 해부학적 사전 지식를 활용해 병변 윤곽을 추출하기 위한 형태학적 인식 분할 모듈로 시작한다.
• 사전 학습된 분류 네트워크가 의미적 특징 기반으로 병변 영역을 국소화하기 위해 클래스 활성화 맵(CAM)을 생성한다.
• 형태학 맵와 CAM을 융합하여 Segment-Anything-Model(SAM)을 유도하는 하이브리드 프롬프트를 생성한다.
• SAM은 융합된 프롬프트를 사용하여 제로샷 일반화 능력을 활용해 정밀한 고정밀도 분할을 수행한다.
• 후처리를 통해 구조적 오류를 수정하고 마스크의 연결성 및 매끄러움을 향상시킨다.
• 이 프레임워크는 픽셀 수준의 레이블이 필요 없이 이미지 수준의 레이블만을 사용한다.

Figure 1: The proposed framework of our model consists of four key stages: Initially, we conduct preliminary image segmentation focusing on morphological features. This is followed by the generation of a heatmap for lesion localization using a CAM-based classification network. Subsequently, we proce

실험 결과

연구 질문

• RQ1 병변의 형태학적 사전 지식와 CAM 기반 국소화를 융합함으로써, 유방 초음파 영상에서의 약한 지도 학습 분할 성능을 향상시킬 수 있는가?
• RQ2 형태학적 특성과 CAM 특성의 융합은 SAM 기반 분할 성능을 어떻게 향상시키는가?
• RQ3 약한 지도 학습 프레임워크는 픽셀 수준의 레이블 없이도 완전 지도 학습 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 의료 전문 지식의 통합은 고비용의 픽셀 수준의 레이블에 대한 의존도를 줄이는 데 기여하는가?
• RQ5 최신의 지도 학습 및 약한 지도 학습 모델과 비교해, 제안된 방법은 경계 정확도와 병변 윤곽 복원 능력에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 BUSI 테스트 세트에서 딱도 스코어 74.39%를 달성하여 완전 지도 학습 방법과 비교해도 강력한 성능을 보였다.
• Hausdorff 거리(HD95)는 24.27로, Deeplabv3+(32.22)보다 유의미하게 뛰어나 경계 국소화 성능이 뛰어나다는 것을 시사한다.
• 작고 비정형적인 병변의 분할에 효과적으로 대응하여, UNet과 Deeplabv3+보다 윤곽 정확도에서 뛰어난 성능을 보였다.
• 절단 실험을 통해 형태학, CAM, SAM 각각의 구성 요소가 최종 성능에 기여하는 바가 크다는 것이 확인되었다.
• 비병변 영역를 걸러내어 가짜 양성 결과를 줄여, 배경 노이즈에 대한 강인성을 향상시켰다.
• 노이즈가 많거나 흐릿한 경계에 대해서도 강인하며, 후처리가 SAM이 유도한 구조적 잡음(artifacts)을 효과적으로 수정함으로써 성능을 향상시켰다.

Figure 2: Model architecture of DenseNet-121.