[논문 리뷰] Enforcing Mutual Consistency of Hard Regions for Semi-supervised Medical Image Segmentation.

Yicheng Wu, Zongyuan Ge외 5명|arXiv (Cornell University)|2021. 09. 21.

Advanced Neural Network Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 서로 다른 업샘플링 전략을 사용하는 다중 디코더 간의 상호 일致성 조건을 통해 레이블이 없는 어려운 영역에서의 학습을 향상시키는 MC-Net+라는 준지도 학습 의료 영상 분할 모델을 제안한다. 디코더 출력 간 통계적 이질성을 활용하여 불확실성을 식별하고, 예측과 소프트 편제레이블 간의 상호 일치 제약 조건을 적용함으로써, MC-Net+는 세 개의 공개 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we proposed a novel mutual consistency network (MC-Net+) to effectively exploit the unlabeled hard regions for semi-supervised medical image segmentation. The MC-Net+ model is motivated by the observation that deep models trained with limited annotations are prone to output highly uncertain and easily mis-classified predictions in the ambiguous regions (e.g. adhesive edges or thin branches) for the image segmentation task. Leveraging these region-level challenging samples can make the semi-supervised segmentation model training more effective. Therefore, our proposed MC-Net+ model consists of two new designs. First, the model contains one shared encoder and multiple sightly different decoders (i.e. using different up-sampling strategies). The statistical discrepancy of multiple decoders' outputs is computed to denote the model's uncertainty, which indicates the unlabeled hard regions. Second, a new mutual consistency constraint is enforced between one decoder's probability output and other decoders' soft pseudo labels. In this way, we minimize the model's uncertainty during training and force the model to generate invariant and low-entropy results in such challenging areas of unlabeled data, in order to learn a generalized feature representation. We compared the segmentation results of the MC-Net+ with five state-of-the-art semi-supervised approaches on three public medical datasets. Extension experiments with two common semi-supervised settings demonstrate the superior performance of our model over other existing methods, which sets a new state of the art for semi-supervised medical image segmentation.

연구 동기 및 목표

• 비정상적인 해부학적 영역, 예를 들어 얇은 분지나 부착 가장자리와 같은 어려운 영역에서의 예측의 불확실성과 잘못된 분류 문제를 해결하기 위해.
• 기존 준지도 학습에서 일반적으로 간과되는 레이블이 없는 어려운 영역을 효과적으로 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 다양한 업샘플링 전략을 가진 다중 디코더 간의 새로운 상호 일치 제약 조건을 통해 어려운 영역에서의 모델 불확실성을 감소시키기 위해.
• 레이블이 없는 어려운 영역에서 저엔트로피, 불변 예측을 장려하는 훈련 프레임워크를 개발하여 더 견고한 특징 표현을 얻기 위해.

제안 방법

• 동일한 입력에 대해 서로 다른 업샘플링 전략을 가진 다중 디코더를 사용하는 공유 인코더를 활용하여 다양한 예측을 생성한다.
• 다중 디코더의 출력 간 통계적 이질성(예: 분산 또는 발산)을 계산하여 모델의 불확실성을 정량화한다.
• 한 디코더의 확률 출력과 다른 디코더 출력에서 유도된 소프트 편제레이블 간의 상호 일치 제약 조건을 강제한다.
• 이 제약 조건은 어려운 영역에서의 예측 불일치를 최소화하여, 모든 디코더 간에 일관되고 저엔트로피 예측을 생성하도록 유도한다.
• 표준 분할 손실과 상호 일치 손실을 결합한 훈련 목표를 통해 정확도 향상과 불확실성 감소를 동시에 최적화한다.
• 이 프레임워크는 엔드 투 엔드로 훈련되며, 의료 영상 분야의 다양한 준지도 학습 설정에 적용 가능하다.

실험 결과

연구 질문

• RQ1 레이어블이 없는 어려운 영역에서의 불확실성을 활용하면 준지도 학습 의료 영상 분할 성능이 향상되는가?
• RQ2 다양한 업샘플링 전략을 가진 다중 디코더 간의 상호 일치성을 강제하면, 어려운 해부학적 영역에서의 예측 불확실성이 어떻게 감소하는가?
• RQ3 제안된 상호 일치 제약 조건은 기존의 편제레이블링 방식에 비해 더 견고하고 일반화 능력이 뛰어난 특징 표현을 제공하는가?
• RQ4 MC-Net+는 공개 의료 영상 분할 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어넘는가?

주요 결과

• MC-Net+는 세 개의 공개 의료 영상 분할 데이터셋에서 최신 기술 수준의 성능을 달성하여 다섯 가지 기존 준지도 학습 방법을 능가한다.
• 다양한 디코더 간의 상호 일치성을 강제함으로써, 얇은 분지나 부착 가장자리와 같은 어려운 영역에서의 예측 불확실성을 크게 감소시킨다.
• 다양한 업샘플링 전략을 가진 다중 디코더를 사용함으로써 출력 간 통계적 이질성을 통해 모호한 영역를 더 잘 식별할 수 있다.
• 확장 실험 결과는 MC-Net+가 두 가지 일반적인 준지도 학습 설정에서 뛰어난 견고성과 일반화 능력을 보임을 확인한다.
• 상호 일치 제약 조건은 레이블이 없는 어려운 영역에서의 예측 엔트로피를 효과적으로 감소시켜 더 신뢰할 수 있는 편제레이블을 생성한다.
• 제한된 레이블 데이터 조건에서도 어려운 해부학적 구조에서 불변 표현을 학습함으로써 모델가 뛰어난 일반화 능력을 보여준다.