[논문 리뷰] Leveraging Labeling Representations in Uncertainty-based Semi-supervised Segmentation

Sukesh Adiga V, José Dolz외 1명|arXiv (Cornell University)|2022. 03. 10.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 희박한 애너테이션에서 레이블링 표현을 학습하기 위해 사전 훈련된 노이즈 제거 오토인코더(DAE)를 사용하여, 반감성 3D 심방 분할에 대한 새로운 불확실성 추정 방법을 제안한다. DAE를 통해 모델 예측을 타당한 분할 마스크로 매핑함으로써, 단일 추론을 통해 픽셀 단위의 불확실성을 계산함으로써 계산 비용을 줄이고, 최신 기술보다 높은 분할 정확도를 달성한다. 10% 레이블 데이터에서 86.58%의 Dice와 11.82mm의 HD를 기록한다.

ABSTRACT

Semi-supervised segmentation tackles the scarcity of annotations by leveraging unlabeled data with a small amount of labeled data. A prominent way to utilize the unlabeled data is by consistency training which commonly uses a teacher-student network, where a teacher guides a student segmentation. The predictions of unlabeled data are not reliable, therefore, uncertainty-aware methods have been proposed to gradually learn from meaningful and reliable predictions. Uncertainty estimation, however, relies on multiple inferences from model predictions that need to be computed for each training step, which is computationally expensive. This work proposes a novel method to estimate the pixel-level uncertainty by leveraging the labeling representation of segmentation masks. On the one hand, a labeling representation is learnt to represent the available segmentation masks. The learnt labeling representation is used to map the prediction of the segmentation into a set of plausible masks. Such a reconstructed segmentation mask aids in estimating the pixel-level uncertainty guiding the segmentation network. The proposed method estimates the uncertainty with a single inference from the labeling representation, thereby reducing the total computation. We evaluate our method on the 3D segmentation of left atrium in MRI, and we show that our uncertainty estimates from our labeling representation improve the segmentation accuracy over state-of-the-art methods.

연구 동기 및 목표

• 몬테 카를로 드롭아웃 또는 앙상블 등 다중 추론이 필요한 방법들에 비해 반감성 의료 영상 분할에서 불확실성 추정의 높은 계산 비용을 해결하기 위해.
• 추가적인 훈련 작업 없이도 정렬된 이미지가 필요로 하지 않고, 학습된 레이블링 표현을 형태 우선순위로 활용하여 분할 신뢰도를 향상시키기 위해.
• 공동 훈련 또는 적대적 훈련과 같은 복잡한 훈련 체계에 대한 의존도를 줄이기 위해, 수렴성 및 안정성 문제를 야기하는 경우가 많다.
• 사전 훈련된 DAE에서 단일 추론을 통해 학생 모델을 안내하는 더 견고하고 효율적인 불확실성 추정 메커니즘을 개발하기 위해.
• 레이블링 표현에서 유도된 불확실성이 엔트로피 기반 또는 앙상블 기반 불확실성 추정보다 더 나은 분할 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 사용 가능한 분할 마스크에서 레이블링 표현을 학습하기 위해 사전 훈련된 노이즈 제거 오토인코더(DAE)를 사용하며, 이는 타당한解부학적 형태를 포착한다.
• DAE는 교사 모델의 분할 예측을 재구성된 타당한 마스크 집합으로 매핑하여, 효과적으로 형태 우선순위로 작용한다.
• 픽셀 단위의 불확실성은 원본 예측과 그 DAE 재구성 간의 L2 차이로 계산되며, 이는 단일 추론 기반의 불확실성 추정을 가능하게 한다.
• 불확실성 맵은 평균 교사 프레임워크에 정규화 항으로 통합되어, 학생 모델이 신뢰할 수 있는 예측 영역에 집중하도록 이끈다.
• 모델 가중치를 업데이트하기 위해 지수 이동 평균(EMA)을 사용하며, 감독 및 일致성 손실을 결합하여 훈련한다.
• 제안된 방법은 2018년 심방 분할 챌린지의 3D 심장 MRI 데이터를 사용하여 평가되었으며, 최신 기술 기준과 비교되었다.

실험 결과

연구 질문

• RQ1 희박한 애너테이션에서 유도된 학습된 레이블링 표현이 계산 비용을 줄이며 반감성 분할에서 불확실성 추정을 향상시킬 수 있는가?
• RQ2 DAE 재구성 마스크에서 도출된 불확실성이 엔트로피 기반 또는 앙상블 기반 불확실성 추정보다 더 나은 분할 성능을 이끌어내는가?
• RQ3 낮은 레이블 레지임에서 최신 기술 기반 반감성 분할 방법과 비교해, 제안된 방법의 Dice 점수 및 하우스도르프 거리 측정치는 어떠한가?
• RQ4 불확실성 가중치 γ 및 일치성 가중치 β와 같은 다양한 하이퍼파rameter 설정에서 제안된 불확실성 추정이 견고한가?
• RQ5 정렬된 이미지나 형태 예측 또는 적대적 손실과 같은 추가 훈련 작업이 필요 없이도 레이블링 표현 기반의 불확실성 추정이 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 10% 레이블 데이터 설정에서 86.58%의 Dice 점수와 11.82mm의 하우스도르프 거리를 기록하며, 최고의 베이스라인(SASSnet)보다 Dice 점수 2.88% 향상 및 HD 5.08mm 향상되었다.
• 20% 레이블 데이터 설정에서, 방법은 88.60%의 Dice 점수와 7.61mm의 HD를 달성하였으며, 최고의 베이스라인(URPC)보다 Dice 점수 0.02% 향상 및 HD 5.49mm 향상되었다.
• 제거 분석 결과, 임계치 또는 엔트로피 전략을 사용한 레이블링 표현 기반 불확실성 추정이 UAMT보다 성능 향상을 이끌었으며, 전체 방법이 가장 우수한 성능을 기록하였다.
• 이 방법은 훈련 단계당 DAE 추론을 단 한 번만 요구하여, 단계당 8번의 추론을 사용하는 UAMT보다 계산 비용을 줄였다.
• γ 및 β 하이퍼파rameter에 대한 제거 분석 결과, γ=1일 때 최적 성능을 기록하며, 다양한 설정에서 일관되게 베이스라인을 능가하는 것으로 확인되었다.
• 시각적 비교 결과, 제안된 방법은 SASSnet, DTC, UAMT 및 URPC보다 더 매끄럽고 정확한 분할을 생성하며, 구멍이 적고 경계 부착성이 뛰어나다.