[논문 리뷰] Deep Active Learning for Axon-Myelin Segmentation on Histology Data

Melanie Lubrano di Scandalea, Christian S. Perone외 2명|arXiv (Cornell University)|2019. 07. 11.

Cell Image Analysis Techniques참고 문헌 12인용 수 17

한 줄 요약

이 논문은 히스토로지 데이터에서 축삭-마이엘린 세분화에 대한 애너테이션 노력 감소를 위해 U-Net 아키텍처 내에서 몬테카를로 드롭아웃을 통한 불확실성 추정을 사용하는 딥 액티브 러닝 프레임워크를 제안한다. 불확실성 기반 샘플 선택을 통해 단지 3개의 샘플을 애너테이션한 후 최대 디스크 스코어를 달성하였으며, 랜덤 샘플링 방식은 동일한 성능에 도달하기 위해 15개의 샘플이 필요했다—작은 실세계 생물의학 데이터셋에서 전문가의 애너테이션 노력이 크게 감소되었음을 보여준다.

ABSTRACT

Semantic segmentation is a crucial task in biomedical image processing, which recent breakthroughs in deep learning have allowed to improve. However, deep learning methods in general are not yet widely used in practice since they require large amount of data for training complex models. This is particularly challenging for biomedical images, because data and ground truths are a scarce resource. Annotation efforts for biomedical images come with a real cost, since experts have to manually label images at pixel-level on samples usually containing many instances of the target anatomy (e.g. in histology samples: neurons, astrocytes, mitochondria, etc.). In this paper we provide a framework for Deep Active Learning applied to a real-world scenario. Our framework relies on the U-Net architecture and overall uncertainty measure to suggest which sample to annotate. It takes advantage of the uncertainty measure obtained by taking Monte Carlo samples while using Dropout regularization scheme. Experiments were done on spinal cord and brain microscopic histology samples to perform a myelin segmentation task. Two realistic small datasets of 14 and 24 images were used, from different acquisition settings (Serial Block-Face Electron Microscopy and Transmitting Electron Microscopy) and showed that our method reached a maximum Dice value after adding 3 uncertainty-selected samples to the initial training set, versus 15 randomly-selected samples, thereby significantly reducing the annotation effort. We focused on a plausible scenario and showed evidence that this straightforward implementation achieves a high segmentation performance with very few labelled samples. We believe our framework may benefit any biomedical researcher willing to obtain fast and accurate image segmentation on their own dataset. The code is freely available at https://github.com/neuropoly/deep-active-learning.

연구 동기 및 목표

• 생물의학 영상 세분화에서 픽셀 수준의 레이블링에 대한 높은 애너테이션 부담을 줄이기 위해, 특히 희귀하거나 복잡한 구조인 축삭과 마이엘린에 대해.
• 제한된 진정값을 가진 실세계의 소규모 히스토로지 데이터셋에서 불확실성 기반 액티브 러닝의 효과성을 평가하기 위해.
• 단지 몇 개의 매우 불확실한 샘플을 선택함으로써, 훨씬 더 큰 랜덤 데이터셋으로 훈련된 모델과 비교해도 유사한 세분화 성능을 달성할 수 있음을 보여주기 위해.
• 생물의학 연구자들이 자신의 마이크로스코피 데이터에 액티브 러닝을 적용할 수 있도록 실용적이고 접근성이 높은 프레임워크를 제공하기 위해.

제안 방법

• 몬테카를로 드롭아웃을 사용해 예측 불확실성을 다수의 전방 전파 동안 추정하는 U-Net 기반의 세분화 모델을 훈련한다.
• 예측 값의 분산을 사용해 불확실성을 정량화하고, 가장 모호한(불확실한) 패치를 애너테이션 대상으로 식별한다.
• 매번 새로운 배치의 액티브하게 선택된 샘플이 훈련 세트에 추가된 후, 모델을 다시 처음부터 재훈련한다.
• 일致한 평가를 보장하기 위해, 고정된 훈련, 검증, 테스트 패치 분할을 사용한다.
• 액티브 러닝 루프는 불확실성 기반으로만 샘플을 선택하며, 추가적인 유사성 또는 다양성 기준은 사용하지 않는다.
• 이 방법은 AxonDeepSeg 파이pline에 통합되었으며, 커뮤니티 사용을 위해 GitHub를 통해 공개되었다.

실험 결과

연구 질문

• RQ1 불확실성 기반 액티브 러닝이 축삭-마이엘린 히스토로지 데이터에서 높은 세분화 성능에 도달하기 위해 필요한 애너테이션 샘플 수를 크게 줄일 수 있는가?
• RQ2 소규모 생물의학 데이터셋에서 몬테카를로 드롭아웃을 통한 불확실성 추정은 랜덤 샘플링 대비 수렴 속도와 최종 디스크 스코어 측면에서 어떻게 비교되는가?
• RQ3 제안된 프레임워크는 다양한 샘플링 모odalities(예: SBEM 대비 TEM)와 실세계 데이터셋의 변형에 대해 성능 안정성을 유지하는가?
• RQ4 불확실성 맵이 모델 실패 영역을 식별하고 애너테이션 효율성을 향상시키는 데 얼마나 효과적으로 기여하는가?

주요 결과

• 액티브 러닝 프레임워크는 초기 훈련 세트에 불확실성 기반으로 선택된 샘플 3개만 추가한 후 최대 디스크 스코어를 달성하였으며, 랜덤 샘플링 방식은 동일한 성능에 도달하기 위해 15개의 샘플이 필요했다.
• 14장의 SBEM 데이터셋에서, 모델은 3개의 액티브 샘플 추가 후 디스크 스코어 0.89를 달성하였고, 랜덤 샘플링은 15개의 샘플을 추가해도 0.87에 머물렀다.
• 24장의 TEM 데이터셋에서, 모델은 3개의 액티브 샘플 추가 후 디스크 스코어 0.86을 달성하였고, 랜덤 샘플링은 15개의 샘플을 추가해도 0.84에 머물렀다.
• 불확실성 맵은 특히 경계 부위와 저대비 영역에서 모델이 가장 불확실한 영역을 효과적으로 강조하여 타겟된 애너테이션을 지원했다.
• MC-Dropout을 통한 불확실성 추정은 효과적이며 간편했지만, 저자들은 스무딩 부트스트랩 샘플링과 같은 다른 불확실성 측정 방법을 통해 향후 개선 가능성을 지적했다.
• 프레임워크는 SBEM과 TEM과 같은 다양한 히스토로지 획득 방법에 대해 강건성을 보였으며, 다양한 실세계 데이터셋에 일반화 가능함을 시사했다.