[논문 리뷰] On uncertainty estimation in active learning for image segmentation

Bo Li, Tommy Sonne Alstrøm|arXiv (Cornell University)|2020. 07. 13.

Machine Learning and Algorithms참고 문헌 28인용 수 10

한 줄 요약

이 논문은 의료 영상 분할을 위한 영역 기반 활성 학습과 불확실성 추정을 제안하며, 전체 영상 대신 불확실성 높은 영역을 선택할 경우 최대 50%까지 레이블링 노력이 감소하고 모델의 캘리브레이션과 분할 정확도가 향상됨을 입증한다. 이 방법은 고정된 크기의 영상 영역에서 불확실성 지표(VarRatio, 엔트로피, BALD)를 사용하여, 전체 영상 수거보다 빠른 수렴과 더 나은 캘리브레이션을 보이는 모델을 도출한다.

ABSTRACT

Uncertainty estimation is important for interpreting the trustworthiness of machine learning models in many applications. This is especially critical in the data-driven active learning setting where the goal is to achieve a certain accuracy with minimum labeling effort. In such settings, the model learns to select the most informative unlabeled samples for annotation based on its estimated uncertainty. The highly uncertain predictions are assumed to be more informative for improving model performance. In this paper, we explore uncertainty calibration within an active learning framework for medical image segmentation, an area where labels often are scarce. Various uncertainty estimation methods and acquisition strategies (regions and full images) are investigated. We observe that selecting regions to annotate instead of full images leads to more well-calibrated models. Additionally, we experimentally show that annotating regions can cut 50% of pixels that need to be labeled by humans compared to annotating full images.

연구 동기 및 목표

• 인간 레이블링이 필요한 픽셀 수를 최소화하여 의료 영상 분할의 레이블링 비용을 절감하는 것.
• 불확실성 추정 및 수거 전략이 활성 학습에서 모델의 캘리브레이션과 성능에 미치는 영향을 조사하는 것.
• 레이블링 효율성과 모델 캘리브레이션 측면에서 영역 기반 vs. 전체 영상 수거 전략을 비교하는 것.
• 불확실성 캘리브레이션의 영향을 활성 학습 효율성에 대해 평가하는 것.

제안 방법

• 이 방법은 세그멘테이션을 위해 잔차 인코더 아키텍처(ResNet-v2-50/101/152)를 사용하는 컨volutional 신경망(CNNs)을 사용한다.
• 불확실성은 세 가지 방법으로 추정된다: 분산 비율(VarRatio), 엔트로피, 불확실성 기반 베이지안 활성 학습(BALD).
• 두 가지 수거 전략이 평가되었다: 전체 영상 레이블링과 고정 크기의 정사각형 영역을 사용한 영역 기반 레이블링.
• 영역 기반 수거에서는 모델이 가장 불확실한 영역을 선택하고, 레이블링되지 않은 픽셀에 대한 예측을 의사 레이블로 사용한다.
• 학습 루프는 불확실성 기반으로 새로운 영역 또는 영상을 반복적으로 선택하고, 모델을 업데이트하며 수렴할 때까지 반복한다.
• 모델 캘리브레이션은 브리어 스코어, NLL, ECE 및 신뢰도 다이어그램과 같은 지표를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 영역 기반 활성 학습은 전체 영상 수거보다 더 나은 불확실성 캘리브레이션을 이끌어내는가?
• RQ2 영역 기반 수거는 목표 분할 정확도를 달성하기 위해 필요한 레이블링 픽셀 수를 줄일 수 있는가?
• RQ3 다양한 불확실성 추정 방법(VarRatio, 엔트로피, BALD)이 영역 기반 수거와 전체 영상 수거에서 성능 및 캘리브레이션 측면에서 어떻게 비교되는가?
• RQ4 모델 캘리브레이션과 활성 학습 효율성 사이에 상관관계가 있는가?

주요 결과

• 영역 기반 수거는 전체 영상 수거 대비 레이블링 픽셀 수를 최대 50%까지 줄여 동일하거나 더 높은 분할 정확도를 달성한다.
• GlaS 데이터셋에서 BALD 기반 영역 기반 수거는 평균 52.94개의 픽셀 레이블링으로 85%의 F1 스코어를 기록했으며, 전체 영상 수거는 76.47로 기록되었다.
• 영역 기반 수거는 더 낮은 브리어 스코어와 향상된 신뢰도 다이어그램을 통해 더 빠르게 보다 잘 캘리브레이션된 모델을 도출한다.
• 전체 영상 수거는 불확실성 기반 선택이 초기에는 무작위 선택보다 성능이 열 劣하나, 점차 이를 앞서며, 영역 기반 방법은 항상 양쪽을 앞서는 성능을 보였다.
• 학습 초반에는 모델이 캘리브레이션되어 있지 않으며, 특히 전체 영상 수거에서는 더욱 심각한 불확실성이 나타나지만, 더 많은 레이블링 데이터가 제공될수록 캘리브레이션은 향상된다.
• ISIC 데이터셋에서 BALD 기반 영역 수거가 가장 높은 성능을 기록하여 VarRatio 및 엔트로피 대비 레이블링 노력이 줄어들었다.