[논문 리뷰] Uncertainty-Driven Semantic Segmentation through Human-Machine Collaborative Learning

Mahdyar Ravanbakhsh, Tassilo Klein외 2명|arXiv (Cornell University)|2019. 09. 02.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 조건부 GAN을 사용하여 의료 영상에서의 애너테이션 비용을 줄이기 위해 불확실성 기반의 인간-기계 협업 세그멘테이션 프레임워크를 제안한다. 디세크리미네이터의 출력을 불확실성 점수로 활용함으로써, 이 방법은 전문가 애너테이션을 위해 가장 불확실한(외부 분포에 속하는) 슬라이스만 능동적으로 선택한다. 이로 인해 완전히 지도 학습 방법이 요구하는 레이블 데이터의 80%만으로도 최신 기술 수준에 근접한 성능을 달성한다.

ABSTRACT

Deep learning-based approaches achieve state-of-the-art performance in the majority of image segmentation benchmarks. However, training of such models requires a sizable amount of manual annotations. In order to reduce this effort, we propose a method based on conditional Generative Adversarial Network (cGAN), which addresses segmentation in a semi-supervised setup and in a human-in-the-loop fashion. More specifically, we use the discriminator to identify unreliable slices for which expert annotation is required and use the generator in the GAN to synthesize segmentations on unlabeled data for which the model is confident. The quantitative results on a conventional standard benchmark show that our method is comparable with the state-of-the-art fully supervised methods in slice-level evaluation requiring far less annotated data.

연구 동기 및 목표

• 의료 영상 세그멘테이션을 위한 딥 러닝 모델 훈련의 높은 애너테이션 비용을 줄이기 위해.
• 의료 영상에서의 데이터 부족 문제를 해결하기 위해 효율적인 인간-기계 협업을 가능하게 하기 위해.
• 전문가의 애너테이션을 최소화하면서도 높은 세그멘테이션 정확도를 유지하는 반감독형 활동 학습 프레임워크를 개발하기 위해.
• 조건부 GAN의 디세크리미네이터를 사용하여 인간 애너테이션을 필요로 하는 샘플을 선택하기 위한 신뢰할 수 있는 불확실성 추정기로 활용하기 위해.
• 완전히 지도 학습 방법보다 훨씬 적은 레이블 데이터로 최신 기술 수준에 근접한 성능을 달성하기 위해.

제안 방법

• 이미지-세그멘테이션 번역을 위해 U-Net 생성기와 패치 GAN 디세크리미네이터를 사용하는 조건부 GAN(cGAN)을 훈련한다.
• 비라벨 데이터의 예측을 순위 매기기 위해 디세크리미네이터의 출력 점수를 모델의 불확실성 측도로 사용한다.
• 각 활동 학습 라운드에서 불확실성이 가장 높은 상위-k개의 예측(낮은 디세크리미네이터 점수)을 전문가 애너테이션을 위해 선택한다.
• 훈련된 생성기를 사용하여 나머지 높은 신뢰도를 가진 예측에 대해 허위 레이블을 생성한다.
• 실제 전문가 애너테이션과 합성된 허위 레이블의 조합된 데이터셋을 기반으로 생성기와 디세크리미네이터를 반복적으로 재훈련한다.
• HVSMR 2016 챌린지의 3D 심장혈관 MR 영상에서 10겹 교차검증을 수행하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 조건부 GAN의 디세크리미네이터 점수가 의료 영상 세그멘테이션의 활동 학습에서 신뢰할 수 있는 불확실성 추정기로 기능할 수 있는가?
• RQ2 높은 세그멘테이션 정확도를 유지하면서 인간-마이크로인터페이스 애너테이션을 얼마나 줄일 수 있는가?
• RQ3 제안된 방법의 성능가 레이블 데이터의 양이 증가함에 따라 완전히 지도 학습 기반 모델과 비교해 어떻게 변화하는가?
• RQ4 높은 신뢰도를 가진 샘플에 대해 생성기에서 유도한 허위 레이블을 사용하면 반감독 설정에서 모델의 일반화 성능이 향상되는가?
• RQ5 제안된 방법이 완전히 지도 학습 접근 방식보다 훨씬 적은 레이블 데이터로 최신 기술 수준에 근접한 성능을 달성할 수 있는가?

주요 결과

• 디세크리미네이터 점수와 세그멘테이션 품질 간에 강한 상관관계(r = 0.98, p < 0.001)가 관찰되어, 디세크리미네이터가 신뢰할 수 있는 불확실성 추정기로 기능한다는 것을 검증하였다.
• 완전히 지도 학습 기반 베이스라인에서 사용하는 레이블 데이터의 80%만으로도 심장근육에 대해 평균 디스크 스코어 0.85, 혈관공간에 대해 0.94를 기록하여 최신 기술 수준의 성능에 근접하였다.
• 레이블 데이터의 90%를 사용했을 때 심장근육에 대해 디스크 스코어 0.73, 혈관공간에 대해 0.95를 기록하여, Isola 등(2017)의 완전히 지도 학습 기반 최신 기술 수준 모델과 동등하거나 이를 초월하였다.
• 애너테이션 예산이 증가함에 따라 성능이 단조롭게 향상되어, 불확실성 기반 샘플링을 사용한 활동 학습의 효과성을 입증하였다.
• 높은 신뢰도를 가진 샘플에 대해 허위 레이블을 사용함으로써 전문가 애너테이션의 필요성을 크게 줄였고, 모델 성능 저하 없이도 효과를 보였다.
• 레이블 데이터의 70%만으로도 평균 디스크 스코어 82%를 기록하여 강력한 데이터 효율성을 입증하였다.