[논문 리뷰] Push the Boundary of SAM: A Pseudo-label Correction Framework for Medical Segmentation

Ziyi Huang, Hongshan Liu외 8명|arXiv (Cornell University)|2023. 08. 02.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 의료 영상 분할 성능을 향상시키기 위해 Segment Anything Model(SAM)가 생성한 가짜 레이블의 품질을 향상시키는 가짜 레이블 보정 프레임워크를 제안한다. 레이블 품질 평가 모듈과 불확실성 기반 자기보정 메커니즘을 통합하여 노이즈가 있는 레이블을 반복적으로 개선하고 분할 네트워크를 재학습함으로써 전문가가 제공한 마스크가 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Segment anything model (SAM) has emerged as the leading approach for zero-shot learning in segmentation tasks, offering the advantage of avoiding pixel-wise annotations. It is particularly appealing in medical image segmentation, where the annotation process is laborious and expertise-demanding. However, the direct application of SAM often yields inferior results compared to conventional fully supervised segmentation networks. An alternative approach is to use SAM as the initial stage to generate pseudo labels for further network training. However, the performance is limited by the quality of pseudo labels. In this paper, we propose a novel label correction framework to push the boundary of SAM-based segmentation. Our model utilizes a label quality evaluation module to distinguish between noisy labels and clean labels. This enables the correction of the noisy labels using an uncertainty-based self-correction module, thereby enriching the clean training set. Finally, we retrain the segmentation network with updated labels to optimize its weights for future predictions. One key advantage of our model is its ability to train deep networks using SAM-generated pseudo labels without relying on a set of expert-level annotations while attaining good segmentation performance. We demonstrate the effectiveness of our proposed model on three public datasets, indicating its ability to improve segmentation accuracy and outperform baseline methods in label correction.

연구 동기 및 목표

• 의료 영상에서 제로샷 SAM과 완전히 감독된 분할 모델 간의 성능 격차를 해소하기 위해.
• 하위 분할 성능를 악화시키는 저품질의 SAM 생성 가짜 레이블의 한계를 극복하기 위해.
• 전문가가 제공한 픽셀 수준의 진짜 레이블에 의존하지 않고도 분할 정확도를 향상시키는 약한 감독 프레임워크를 개발하기 위해.
• 반복적인 레이블 보정을 통해 단지 SAM가 생성한 가짜 레이블만으로도 딥 분할 네트워크의 견고한 훈련을 가능하게 하기 위해.
• 다양한 영상 모odalities에서 레이블 노이즈에 대한 일반화 능력과 내성 강도를 향상시키기 위해.

제안 방법

• 의료 영상에 대해 픽셀 수준의 애너테이션 없이도 Segment Anything Model(SAM)을 활용해 초도 가짜 레이블을 생성한다.
• 예측 신뢰도와 불확실성 기반으로 깨끗한 픽셀과 노이즈가 있는 픽셀을 구분하는 레이블 품질 평가 모듈을 도입한다.
• 신뢰도 인식 재가중 방식을 사용해 불확실성 기반 자기보정 모듈을 활용해 반복적으로 노이즈가 있는 가짜 레이블을 수정한다.
• 픽셀 수준과 이미지 수준에서 동시에 작용하는 다중 수준 재가중 전략을 적용해 과적합을 통제하고 강건성을 향상시킨다.
• 보정된 가짜 레이블을 사용해 반복적으로 분할 네트워크를 재학습함으로써 모델 일반화 능력을 향상시키는 자기 향상 루프를 적용한다.
• 업데이트된 레이블을 사용해 복수의 최적화 사이클을 수행할 수 있도록 재학습 모듈을 통합하여 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블 보정 프레임워크가 의료 영상 분할을 위한 SAM 생성 가짜 레이블의 품질을 크게 향상시킬 수 있는가?
• RQ2 전문가 애너테이션 없이도 기존의 약한 감독 학습 접근법보다 제안된 방법이 노이즈가 있는 가짜 레이블을 어떻게 더 잘 보정하는가?
• RQ3 반복적인 레이블 보정과 재학습이 다양한 의료 영상 데이터셋에서 분할 정확도를 얼마나 향상시키는가?
• RQ4 순차적 접근 방식과 비교해 병행되는 다중 수준 재가중 전략이 오류 누적을 줄이고 강건성을 향상시키는가?
• RQ5 X-레이, CT, 초음파와 같은 다양한 영상 모달리티 간에 이 프레임워크가 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 프레임워크는 JSRT X-레이, 폐 CT, 유방암 초음파와 같은 세 가지 공개 의료 데이터셋에서 최신 기술 수준의 분할 성능를 달성한다.
• SEPL, ADELE, PINT와 같은 기준 모델 대비 특히 낮은 신뢰도와 노이즈가 있는 픽셀을 보정하는 데 있어 분할 정확도가 크게 향상된다.
• 저중량 픽셀을 버리지 않고 보존함으로써 훈련 세트를 풍부하게 하고 모델 일반화 능력을 향상시킨다.
• 단일 재학습 반복을 추가해도 계산 오버헤드가 극히 적어 실시간 임상 적용에 적합하다.
• 병행 재가중 방식을 사용함으로써 PINT보다 더 낮은 오류 전파와 더 높은 효율성을 달성한다.
• 다양한 해부학적 구조, 특히 폐 조직과 종양 영역을 포함한 다양한 영상 모달리티에서 강력한 일반화 능력을 보여준다.