[논문 리뷰] Self-Loop Uncertainty: A Novel Pseudo-Label for Semi-Supervised Medical Image Segmentation

Yuexiang Li, Jiawei Chen외 3명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 반복적인 자기지도 학습 최적화(예: 조각 맞추기 퍼즐)를 활용하여 최소한의 계산 비용으로 신뢰도 높은 추정치를 생성하는 새로운 의사라벨인 self-loop uncertainty를 제안한다. 다양한 학습 반복 단계에서의 네트워크 상태를 앙상블 모델로 간주함으로써, 추론 시간을 줄이며 앙상블 기반 신뢰도를 근사한다. 이로 인해 단지 20%의 레이블 데이터만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Witnessing the success of deep learning neural networks in natural image processing, an increasing number of studies have been proposed to develop deep-learning-based frameworks for medical image segmentation. However, since the pixel-wise annotation of medical images is laborious and expensive, the amount of annotated data is usually deficient to well-train a neural network. In this paper, we propose a semi-supervised approach to train neural networks with limited labeled data and a large quantity of unlabeled images for medical image segmentation. A novel pseudo-label (namely self-loop uncertainty), generated by recurrently optimizing the neural network with a self-supervised task, is adopted as the ground-truth for the unlabeled images to augment the training set and boost the segmentation accuracy. The proposed self-loop uncertainty can be seen as an approximation of the uncertainty estimation yielded by ensembling multiple models with a significant reduction of inference time. Experimental results on two publicly available datasets demonstrate the effectiveness of our semi-supervied approach.

연구 동기 및 목표

• 딥 러닝 기반 분할에서 픽셀 단위의 레이블이 비용이 많이 들고 시간이 오래 걸리는 문제를 해결한다.
• 의사라벨링을 위한 계산 비용이 큰 앙상블 기반의 신뢰도 추정에 대한 효율적인 대안을 개발한다.
• 단일 네트워크의 반복 최적화를 통해 앙상블 신뢰도를 근사함으로써 추론 시간을 단축하면서도 분할 정확도를 유지하거나 향상시킨다.
• 새로운 의사라벨링 전략을 통해 비라벨 데이터를 활용하여 소수의 레이블 데이터로도 높은 성능의 분할을 가능하게 한다.

제안 방법

• 자기지도 학습 작업(예: 조각 맞추기 퍼즐)을 반복적으로 사용하여 완전 컨volution 네트워크(FCN)의 인코더를 최적화함으로써 self-loop uncertainty를 생성한다.
• 각 이미지에 대해 Q개의 순열을 생성하고 Q개의 분할 예측을 생성한다. self-loop uncertainty는 이러한 예측 간의 분산 또는 불일치도로 계산된다.
• 레이블이 있는 데이터와 없는 데이터를 동시에 학습하기 위해 분할 손실(L_SEG), 불확실성 유도 손실(L_UG), 자기지도 학습 손실(L_SS)을 조합한 다중 작업 손실 프레임워크를 사용한다.
• L_SS는 레이블이 없는 데이터로부터의 특징 학습을 장려하여 표현의 품질을 향상시키고, 의사라벨의 신뢰도를 높인다.
• self-loop uncertainty는 레이블이 없는 이미지의 의사라벨로 사용되며, 효과적으로 학습 데이터를 증강하고 분할 성능을 향상시킨다.
• 동일한 네트워크를 최적화 단계에서 반복적으로 재사용함으로써 진정한 앙상블에서 요구하는 다중 순방향 전파가 필요 없게 되어 추론 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 단일 네트워크의 반복 자기지도 최적화가 계산 비용을 크게 줄이며 앙상블 기반의 신뢰도 추정 성능을 근사할 수 있는가?
• RQ2 낮은 감독 설정 하에서 기존의 의사라벨(예: 소프트맥스 확률 맵, MC 드롭아웃)과 비교해 self-loop uncertainty는 분할 정확도에서 어떤가?
• RQ3 자기지도 학습을 통합함으로써 의사라벨의 품질과 후속 분할 성능은 어느 정도 향상되는가?
• RQ4 성능과 계산 효율성의 균형을 고려할 때 self-loop uncertainty를 생성하기 위한 최적의 순열 수(Q)는 얼마인가?

주요 결과

• MoNuSeg 데이터셋에서 레이블이 20%인 조건에서 제안된 self-loop uncertainty는 F1 스코어 77.11%를 기록했으며, 완전히 레이블된 기준선(71.51%)보다 5.6% 높은 성능을 보였다.
• ISIC 데이터셋에서는 레이블이 20%일 때 F1 스코어 84.92%를 기록했고, 50%일 경우 86.17%를 기록하여 100% 레이블이 있는 완전한 감독 모델과 동일한 성능을 달성했다.
• 이 방법은 이미지당 단일 순방향 전파로 추론 비용을 줄였고, 앙상블 방법이 요구하는 10배의 추론을 피함으로써 유사하거나 더 높은 정확도를 유지했다.
• 절단 실험 결과, 순열 수(Q)를 늘릴수록 성능 향상이 이루어지나, Q=6를 초과하면 성능 향상 폭이 미미하여 Q=6~10이 성능과 계산 효율성의 실용적 균형을 이룬다.
• 자기지도 학습 손실(L_SS)을 제거하면 성능이 크게 떨어지며, 이는 자기지도 학습이 고품질의 불확실성 추정을 생성하는 데 필수적임을 확인한다.
• 이 프레임워크는 MoNuSeg 및 ISIC 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여 다양한 의료 영상 분석 과제에 대해 강력한 일반화 능력을 보였다.