[논문 리뷰] Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation

Lin Yang, Yizhe Zhang외 3명|arXiv (Cornell University)|2017. 06. 15.

Machine Learning and Algorithms참고 문헌 14인용 수 34

한 줄 요약

이 논문은 생물의학 영상 분할에서 애너테이션 노력을 줄이기 위해, 가장 정보가 많은 영역을 레이블링하기 위해 완전 컨volution 네트워크(FCN)를 사용하는 딥 액티브 러닝 프레임워크를 제안한다. 불확실성과 유사성 추정을 일반화된 최대 집합 커버 공식화에 통합함으로써, 두 개의 벤치마크 데이터셋에서 훈련 데이터의 50%만을 사용하여 최신 기술 수준의 분할 성능을 달성한다.

ABSTRACT

Image segmentation is a fundamental problem in biomedical image analysis. Recent advances in deep learning have achieved promising results on many biomedical image segmentation benchmarks. However, due to large variations in biomedical images (different modalities, image settings, objects, noise, etc), to utilize deep learning on a new application, it usually needs a new set of training data. This can incur a great deal of annotation effort and cost, because only biomedical experts can annotate effectively, and often there are too many instances in images (e.g., cells) to annotate. In this paper, we aim to address the following question: With limited effort (e.g., time) for annotation, what instances should be annotated in order to attain the best performance? We present a deep active learning framework that combines fully convolutional network (FCN) and active learning to significantly reduce annotation effort by making judicious suggestions on the most effective annotation areas. We utilize uncertainty and similarity information provided by FCN and formulate a generalized version of the maximum set cover problem to determine the most representative and uncertain areas for annotation. Extensive experiments using the 2015 MICCAI Gland Challenge dataset and a lymph node ultrasound image segmentation dataset show that, using annotation suggestions by our method, state-of-the-art segmentation performance can be achieved by using only 50% of training data.

연구 동기 및 목표

• 전문가만이 레이블링할 수 있는 생물의학 영상 분할에서 높은 애너테이션 비용을 해결하기 위해.
• 가장 정보가 많은 영역을 먼저 레이블링하는 방식으로 광범위한 수동 애너테이션의 필요성을 줄이기 위해.
• 완전 컨volution 네트워크(FCNs)와 액티브 러닝을 통합하여 효율적이고 전문가가 안내하는 레이블링을 위한 딥 액티브 러닝 프레임워크를 개발하기 위해.
• FCN 예측에서 유도된 불확실성과 유사성 정보를 활용하여 일반화된 최대 집합 커버 문제를 공식화함으로써 애너테이션 효율성을 향상시키기 위해.
• 훈련 데이터를 크게 줄여도 정확도를 훼손하지 않으면서 최신 기술 수준의 분할 성능를 달성하기 위해.

제안 방법

• 제한된 데이터로도 빠른 훈련과 강한 일반화 성능를 확보하기 위해 배치 정규화, 잔차 연결, 버티컬 블록 아키텍처를 활용한 새로운 완전 컨볼루션 네트워크(FCN)를 설계하기 위해.
• 몬테카를로 드롭아웃 기반 부트스트랩핑을 사용하여 예측의 불확실성을 추정하여 예측에서 모호하거나 불확실한 영역을 식별하기 위해.
• FCN의 최종 인코더 레이어에서 추출한 특징을 사용하여 영상 간 유사성을 계산하기 위해.
• 유사성(다양성)과 불확실성(정보성)을 균형 잡은 일반화된 최대 집합 커버 문제를 공식화하여, 애너테이션에 가장 효과적인 영상을 선택하기 위해.
• FCN을 반복적으로 훈련하고, 집합 커버 공식화에 기반해 새로운 영상 선택을 제안하며, 새로 애너테이션된 데이터로 재훈련하여 성능을 시간이 지남에 따라 향상시키기 위해.
• 일반화된 최대 집합 커버 문제에 대해 1−1/e의 근사 비율 보장을 갖는 근사 알고리즘을 사용하여 다음 배치의 영상 선택을 효율적으로 수행하기 위해.

실험 결과

연구 질문

• RQ1 딥 액티브 러닝 프레임워크는 생물의학 영상 분할에서 성능을 유지하면서도 애너테이션 노력을 줄일 수 있는가?
• RQ2 학습된 FCN에서 유도된 불확실성과 유사성 정보를 효과적으로 통합하여 애너테이션 선택을 안내할 수 있는가?
• RQ3 제안된 일반화된 최대 집합 커버 공식화는 생물의학 분할을 위한 액티브 러닝에서 랜덤 및 불확실성 전용 쿼리 전략보다 우월한가?
• RQ4 프레임워크는 전체 훈련 데이터의 50%만으로 최신 기술 수준의 분할 성능를 달성할 수 있는가?
• RQ5 다양한 데이터 분포와 개체 수를 가진 생물의학 영상 작업에 대해 프레임워크가 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 전체 훈련 데이터의 50%만을 사용하여 2015년 MICCAI Gland Challenge 데이터셋 Part A에서 F1 스코어 0.921, Part B에서 0.855의 최신 기술 수준의 성능를 달성하였다.
• 림프절 초음파 영상 분할 데이터셋에서, 프레임워크는 훈련 데이터의 50%만을 사용하여 평균 교차율(мIoU) 0.875와 F1 스코어 0.871을 기록하였으며, 이는 이전 최신 기술 수준의 방법을 능가하였다.
• 두 데이터셋에서 모든 평가 예산(10%, 30%, 50%)에서 제안된 애너테이션 제안 방법이 랜덤 쿼리 및 불확실성 전용 쿼리 전략을 일관되게 초월하였다.
• 레이블링된 픽셀의 50%만을 사용하여, ObjectHausdorff 거리가 Part A에서 44.736, Part B에서 96.976로 개선되어 경계 정확도 향상을 입증하였다.
• 제안된 FCN 아키텍처의 빠른 수렴성과 일반화 성능 덕분에, 최소한의 초기 훈련 데이터로도 높은 성능를 유지하였다.
• 일반화된 최대 집합 커버 문제의 그레디 근사 알고리즘은 다양하고 불확실한 영상을 효율적으로 선택하여, 애너테이션 노력 대비 성능 향상 속도를 높였다.