[논문 리뷰] A multi-task U-net for segmentation with lazy labels

Rihuan Ke, Aurélie Bugeau외 3명|arXiv (Cornell University)|2019. 07. 22.

Medical Image Segmentation Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 소수의 픽셀 수준에서 레이블이 지정된 이미지와 더 큰 규모의 굴욕적이고 '게으른' 레이블만을 사용하여 정확한 다중 클래스 이미지 세분화를 가능하게 하는 다중 작업 U-Net을 제안한다. 끝에서 끝까지의 준지도 학습 프레임워크에 의해 원추적 탐지, 개체 분리, 정밀한 경계 예측을 통합함으로써, 정밀한 레이블이 제한된 조건에서도 높은 세분화 정확도를 달성하며, 레이블 지정 노력이 크게 감소된다.

ABSTRACT

The need for labour intensive pixel-wise annotation is a major limitation of many fully supervised learning methods for image segmentation. In this paper, we propose a deep convolutional neural network for multi-class segmentation that circumvents this problem by being trainable on coarse data labels combined with only a very small number of images with pixel-wise annotations. We call this new labelling strategy 'lazy' labels. Image segmentation is then stratified into three connected tasks: rough detection of class instances, separation of wrongly connected objects without a clear boundary, and pixel-wise segmentation to find the accurate boundaries of each object. These problems are integrated into a multitask learning framework and the model is trained end-to-end in a semi-supervised fashion. The method is applied on a dataset of food microscopy images. We show that the model gives accurate segmentation results even if exact boundary labels are missing for a majority of the annotated data. This allows more flexibility and efficiency for training deep neural networks that are data hungry in a practical setting where manual annotation is expensive, by collecting more lazy (rough) annotations than precisely segmented images.

연구 동기 및 목표

• 의료 및 과학적 영상 세분화에서 픽셀 수준의 레이블 지정이 높은 비용과 노력을 수반하는 문제를 해결하기 위해.
• 균형 잡힌 레이블과 최소한의 완전히 레이블이 지정된 이미지를 사용하여 딥 세분화 모델을 효과적으로 훈련시키기 위해.
• 객체 탐지, 개체 분리, 정밀한 경계 예측을 동시에 최적화하는 다중 작업 학습 프레임워크를 개발하기 위해.
• 정밀한 레이블이 비용이 많이 들기 때문에 확보하기 어려운 데이터가 부족한 상황에서의 세분화 성능을 향상시키기 위해.
• 실제 현미경 영상 촬영 환경에서 게으른 레이블을 사용한 준지도 학습의 가능성과 효율성을 입증하기 위해.

제안 방법

• 모델는 세 가지 연결된 세분화 작업을 수행하는 다중 작업 U-Net 아키텍처를 사용한다: 클래스 인스턴스의 원추적 탐지, 겹치거나 잘못 연결된 개체의 분리, 정밀한 픽셀 수준 경계 예측.
• 프레임워크는 굴욕적 레이블과 소수의 픽셀 수준에서 레이블이 지정된 이미지를 활용하여 엔드 투 엔드로 준지도 학습된다.
• 손실 함수는 세 가지 작업의 모든 감독 신호를 조합하여, 네트워크가 약한 레이블 데이터에서 학습하면서도 소수의 정밀한 레이블을 활용해 경계를 정밀하게 개선할 수 있도록 한다.
• 이 방법은 세분화의 계층적 성격을 명시적으로 모델링한다: 굴욕적 국소화에서 정밀한 경계 정의로의 전환.
• 한정된 정밀한 레이블 조건에서도 국소화 정확도를 향상시키기 위해 교차 엔트로피 손실과 경계 인식 손실의 조합을 사용하여 아키텍처를 훈련시킨다.
• 이 방법은 음식 현미경 영상 데이터셋에서 평가되었으며, 소수의 완전히 레이블이 지정된 이미지와 더 큰 규모의 원추적 레이블에서 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 굴욕적이고 게으른 레이블이 지정된 영상과 소수의 픽셀 수준에서 레이블이 지정된 영상만을 사용하여도 높은 세분화 정확도를 달성할 수 있는가?
• RQ2 원추적 탐지, 개체 분리, 정밀한 경계 예측을 통합하는 다중 작업 학습 프레임워크는 준지도 세분화에서 얼마나 효과적인가?
• RQ3 게으른 레이블은 세분화 성능을 희생시키지 않고 레이블 지정 비용을 얼마나 줄일 수 있는가?
• RQ4 여러 세분화 작업의 통합은 낮은 감독 환경에서 일반화 능력과 경계 정확도를 향상시키는가?

주요 결과

• 소수의 훈련 데이터에만 픽셀 수준에서 레이블이 지정된 경우에도 모델이 높은 세분화 정확도를 달성하며, 약한 감독 조건에서도 강력한 일반화 능력을 보여준다.
• 굴욕적 레이블의 사용은 레이블 지정 노력은 크게 줄였지만, 완전히 지도 학습 기반 모델과 비교해도 경쟁적인 성능을 유지한다.
• 다중 작업 프레임워크는 네트워크가 계층적 표현을 학습하도록 하여 개체 분리 능력과 경계 정밀도를 모두 향상시킨다.
• 특히 겹치거나 연결된 개체를 처리하는 데서 표준 U-Net과 다른 준지도 학습 방법보다 모델이 더 뛰어난 성능을 보였다.