[논문 리뷰] ZScribbleSeg: Zen and the Art of Scribble Supervised Medical Image Segmentation

Ke Zhang, Xiahai Zhuang|arXiv (Cornell University)|2023. 01. 12.

Advanced Neural Network Applications인용 수 4

한 줄 요약

ZScribbleSeg는 효율적인 스크래치(annotation) 및 공간 사전 정보 정규화를 활용하여 최소한의 애너테이션 노력으로 최신 기술 수준의 성능을 달성하는 새로운 약한 감독 의료 영상 분할 프레임워크를 제안한다. 마이크스업-오클루전를 통해 다양한 스크래치 패턴을 시뮬레이션하고, 공간 사전 정보 정규화를 위한 새로운 클래스 혼합 비율 추정을 도입함으로써, ZScribbleSeg는 특히 소규모 데이터셋과 비정형 구조에서 분할 정확도를 크게 향상시켰으며, ACDC, MSCMRseg, MyoPS, PPSS 데이터셋에서 기존 방법들을 초월한다.

ABSTRACT

Curating a large scale fully-annotated dataset can be both labour-intensive and expertise-demanding, especially for medical images. To alleviate this problem, we propose to utilize solely scribble annotations for weakly supervised segmentation. Existing solutions mainly leverage selective losses computed solely on annotated areas and generate pseudo gold standard segmentation by propagating labels to adjacent areas. However, these methods could suffer from the inaccurate and sometimes unrealistic pseudo segmentation due to the insufficient supervision and incomplete shape features. Different from previous efforts, we first investigate the principle of ''good scribble annotations'', which leads to efficient scribble forms via supervision maximization and randomness simulation. Furthermore, we introduce regularization terms to encode the spatial relationship and shape prior, where a new formulation is developed to estimate the mixture ratios of label classes. These ratios are critical in identifying the unlabeled pixels for each class and correcting erroneous predictions, thus the accurate estimation lays the foundation for the incorporation of spatial prior. Finally, we integrate the efficient scribble supervision with the prior into a unified framework, denoted as ZScribbleSeg, and apply the method to multiple scenarios. Leveraging only scribble annotations, ZScribbleSeg set new state-of-the-arts on four segmentation tasks using ACDC, MSCMRseg, MyoPS and PPSS datasets.

연구 동기 및 목표

• 완전 감독 의료 영상 분할의 높은 애너테이션 비용 문제를 해결하기 위해, 오직 스크래치 수준의 애너테이션으로만 훈련 가능한 방법을 제공하는 것.
• 특히 소규모 데이터셋과 비정형으로 생긴 병변에 대해 약한 감독 분할에서 모델의 강인성과 정확도를 향상시키는 것.
• 최소한의 노력으로 최대한의 감독 정보를 확보할 수 있도록 효율적인 스크래치 애너테이션을 생성하는 원칙적인 접근법을 개발하는 것.
• 정확한 클래스 혼합 비율 추정을 통해 공간 및 형태 사전 정보를 훈련 과정에 통합하는 것.
• 오직 스크래치 애너테이션만을 사용하여 완전 감독 방법과 비교할 수 있는 성능을 달성하는 것.

제안 방법

• 다양하고 무작위적이며 광범위한 스크래치 패턴을 최대한으로 시뮬레이션하기 위해 마이크스업 및 오클루전 연산을 활용한 감독 증강 전략을 제안한다.
• 각 클래스의 레이블 클래스 사전 분포(π)를 정확하게 추정할 수 있도록 새로운 클래스 혼합 비율 추정 방법을 도입한다.
• 마진 확률과 공간 에너지를 기반으로 한 공간 사전 정보 손실을 개발하여 예측을 정규화하고, 부족한 감독으로 인한 형태 정확도 저하를 수정한다.
• 증강된 스크래치 감독과 공간 사전 정보 정규화를 통합한 유일한 프레임워크인 ZScribbleSeg를 제안하며, 엔드 투 엔드 딥 러닝으로 훈련한다.
• 모델 예측에 의존하지 않고, 각 클래스에 속할 가능성의 정도를 추정하기 위해 새로운 공간 에너지 공식을 도입한다.
• 감독 증강과 사전 기반 정규화를 동시에 최적화할 수 있도록 ZScribbleNet이라는 딥 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 최소한의 애너테이션 비용으로 감독 효율성을 극대화하는 데 기여하는 '좋은' 스크래치 애너테이션의 특성은 무엇인가?
• RQ2 수동 라벨링 노력 증가 없이 약한 감독 정보를 스크래치에서 효과적으로 증강할 수 있는 방법은 무엇인가?
• RQ3 공간 및 형태 사전 정보를 약한 감독 분할에 통합하여 부정확한 예측을 수정할 수 있는 방법은 무엇인가?
• RQ4 클래스 혼합 비율(π)의 정확한 추정이 낮은 감독 환경에서의 분할 성능 향상에 기여할 수 있는가?
• RQ5 감독 증강과 사전 정보 정규화를 통합한 유일한 프레임워크가 다양한 의료 및 자연 영상 분할 작업에 일반화될 수 있는가?

주요 결과

• ZScribbleSeg는 ACDC(86.2% ± 8.6% Dice), MSCMRseg(87.0% ± 5.8% Dice), MyoPS(63.6% ± 18.8% Dice), PPSS(83.8% ± 5.0% Dice) 등 네 가지 다양한 분할 작업에서 최신 기술 수준의 성능을 달성했다.
• 소규모 학습 세트와 비정형 병변 분할을 포함하는 MyoPS 데이터셋에서 ZScribbleSeg는 CycleMix 및 ShapePU를 포함한 모든 베이스라인을 압도하며, 도전적인 상황에서도 강인함을 입증했다.
• MyoPS에서 부종 분할 작업에서 ZScribbleSeg는 완전 감독 기반의 FullSupUNet과 유사한 Hausdorff 거리(HD) 점수를 기록했으며, 다른 방법들은 낮은 형태 추정 능력으로 인해 실패했다.
• 자연 풍경 영상(People-Person-Scene, PPSS)으로의 일반화 성능도 뛰어나, FullSupUNet과 유사한 Dice 점수를 기록했으며, 이 분야에서 스크래치-감독 분할의 새로운 최신 기술 수준을 수립했다.
• 시각화 결과에서 복잡한 가림 상황에서 ZScribbleSeg는 다른 약한 감독 방법과 완전 감독 기반 베이스라인보다 더 적은 노이즈와 더 현실적인 분할 결과를 생성했다.
• 제거 실험을 통해 감독 증강과 공간 사전 정보 정규화가 상호 보완적으로 성능 향상에 기여하며, 특히 클래스 혼합 비율 추정이 정확한 공간 정규화에 핵심적인 역할을 한다는 것이 확인되었다.