[논문 리뷰] Cost-efficient segmentation of electron microscopy images using active learning

Joris Roels, Yvan Saeys|arXiv (Cornell University)|2019. 11. 13.

Machine Learning and Algorithms참고 문헌 15인용 수 8

한 줄 요약

이 논문은 전자현미경 영상 분할에서 레이블링 노력을 크게 줄이기 위해 불확실성 샘플링—특히 최대 엔트로피와 최소 신뢰도—를 사용한 능동 학습을 제안한다. 반복적으로 가장 정보가 많은 샘플을 선택해 주석을 붙임으로써, 몇 백 개의 레이블링된 이미지로도 랜덤 샘플링 대비 10–15% 높은 재현율 점수(Jaccard score)를 달성하며, 완전한 지도 학습 성능에 가까워진다.

ABSTRACT

Over the last decade, electron microscopy has improved up to a point that generating high quality gigavoxel sized datasets only requires a few hours. Automated image analysis, particularly image segmentation, however, has not evolved at the same pace. Even though state-of-the-art methods such as U-Net and DeepLab have improved segmentation performance substantially, the required amount of labels remains too expensive. Active learning is the subfield in machine learning that aims to mitigate this burden by selecting the samples that require labeling in a smart way. Many techniques have been proposed, particularly for image classification, to increase the steepness of learning curves. In this work, we extend these techniques to deep CNN based image segmentation. Our experiments on three different electron microscopy datasets show that active learning can improve segmentation quality by 10 to 15% in terms of Jaccard score compared to standard randomized sampling.

연구 동기 및 목표

• 생물의학 분할 분야에서 레이블이 부여된 전자현미경(EM) 영상의 높은 비용과 부족함을 해결한다.
• U-Net과 같은 딥 러닝 모델 학습에 대규모 완전 레이블링 데이터셋에 의존하지 않도록 한다.
• 지능적인 샘플 선택을 통해 높은 분할 성능를 유지하면서 인간 레이블링 노력 최소화한다.
• EM 영상에서의 의미 분할을 위한 다수의 능동 학습 전략을 평가하고 비교한다.
• 불확실성 기반 샘플링이 최소한의 레이블 데이터로도 준지도 학습 성능에 도달할 수 있음을 입증한다.

제안 방법

• 최대 엔트로피, 최소 신뢰도, 베이지안 능동 학습 혼란도(BALD), k-means 샘플링, 코어 세트를 포함한 다섯 가지 능동 학습 전략을 U-Net 기반 딥 뉴럴 네트워크를 사용해 영상 분할에 적용한다.
• 분할 모델의 픽셀 단위 예측 확률을 사용해 미레이블링된 이미지의 불확실성 점수를 계산한다.
• 각 능동 학습 반복에서 불확실성이 가장 높은 샘플(예: 최고 엔트로피 또는 최저 신뢰도)을 인간 주석에 대상으로 선정한다.
• 매 반복 후 고정된 학습률 5e−4로 200 에포크 동안 모델을 재학습한다.
• 각 반복 후 검증 세트에서 Jaccard 점수(IoU)를 사용해 성능을 평가하여 학습 곡선의 급격함을 추적한다.
• 25회의 반복 동안 500개의 샘플을 고정된 풀에서 사용하며, 초기에 20개의 레이블링된 샘플에서 시작하여 현실적인 레이블링 워크플로우를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 능동 학습은 성능을 희생시키지 않고 EM 영상 분할에서 필요한 주석 수를 줄일 수 있는가?
• RQ2 최대 엔트로피, 최소 신뢰도, BALD, k-means, 코어 세트 중 어떤 능동 학습 전략이 EM 분할에서 가장 급격한 학습 곡선을 보이는가?
• RQ3 낮은 레이블링 예산에서 불확실성 기반 샘플링의 Jaccard 점수는 랜덤 샘플링 대비 어떻게 비교되는가?
• RQ4 불확실성 기반 기준에 의해 선택된 영상의 유형은 무엇이며, 모델의 불확실성은 시간이 지남에 따라 어떻게 변화하는가?
• RQ5 탐색과 불확실성의 조합을 포함한 하이브리드 접근 방식은 현재 최고 수준의 능동 학습 방법을 초월할 수 있는가?

주요 결과

• 최대 엔트로피와 최소 신뢰도 샘플링은 몇 백 개의 레이블링된 샘플만으로도 랜덤 샘플링 대비 Jaccard 점수에서 10–15% 향상된 성능을 달성했다.
• 최대 엔트로피 방법은 120개의 레이블링된 샘플로 EPFL 데이터셋에서 Jaccard 점수 0.813을 기록했으며, 완전 지도 학습 성능(0.857)에 가까워졌다.
• BALD와 최소 신뢰도 샘플링은 랜덤 및 k-means 샘플링을 능가했으며, 고도의 계산 비용에도 불구하고 BALD는 뛰어난 성능를 보였다.
• k-means 샘플링은 랜덤 샘플링보다 성능이 열 劣했으며, 이는 탐색 중심이지만 충분한 불확실성 기반 우선순위가 부족했기 때문일 것이다.
• 코어 세트 능동 학습은 랜덤 샘플링과 유사하거나 略적으로 더 나은 성능를 보였지만, 더 나은 특징 임베딩이 적용되면 향상될 수 있었다.
• 시간이 지남에 따라 모델은 더 어려운, 불확실성이 높은 샘플을 선택했으며, 불확실성 맵을 통해 높은 불확실성과 모델 오류가 자주 일치하는 것을 확인하여 탐색-불확실성 간의 상충 관계를 드러냈다.