[논문 리뷰] CEREALS - Cost-Effective REgion-based Active Learning for Semantic Segmentation

Radek Mackowiak, Philip Lenz외 4명|arXiv (Cornell University)|2018. 10. 23.

Domain Adaptation and Few-Shot Learning인용 수 30

한 줄 요약

CEREALS는 학습된 비용 모델과 공간적으로 일관된 불확실성 추정을 사용하여 정보량이 많고 비용이 낮은 이미지 영역을 선택하여 인간의 주석 작업을 최소화하는 비용 효율적인 영역 기반 활성 학습 프레임워크를 제안한다. Cityscapes 데이터셋에서 전체 학습 세트의 mIoU 성능의 95%를 달성하기 위해 주석 작업의 17%만을 사용한다.

ABSTRACT

State of the art methods for semantic image segmentation are trained in a supervised fashion using a large corpus of fully labeled training images. However, gathering such a corpus is expensive, due to human annotation effort, in contrast to gathering unlabeled data. We propose an active learning-based strategy, called CEREALS, in which a human only has to hand-label a few, automatically selected, regions within an unlabeled image corpus. This minimizes human annotation effort while maximizing the performance of a semantic image segmentation method. The automatic selection procedure is achieved by: a) using a suitable information measure combined with an estimate about human annotation effort, which is inferred from a learned cost model, and b) exploiting the spatial coherency of an image. The performance of CEREALS is demonstrated on Cityscapes, where we are able to reduce the annotation effort to 17%, while keeping 95% of the mean Intersection over Union (mIoU) of a model that was trained with the fully annotated training set of Cityscapes.

연구 동기 및 목표

• 의미 분할을 위한 대규모 완전 주석 학습 세트를 만들기 위해 발생하는 높은 인간 주석 비용을 줄이기 위해.
• 다량의 미주석 데이터와는 대비되는, 비용이 많이 들고 시간이 오래 걸리는 픽셀 단위 주석 처리 과정의 불균형을 해결하기 위해.
• 공간적으로 일관된 방식으로 정보 수확량과 주석 비용을 균형 잡는 활성 학습 전략을 개발하기 위해.
• 전체 이미지나 무작위 패치가 아닌 정보가 풍부한 이미지 영역에 집중하여 주석 작업을 최소화하기 위해.
• 의미 분할에서 효율적인 데이터 선택을 위해 불확실성 추정과 학습된 비용 모델을 조합하는 효과를 입증하기 위해.

제안 방법

• 이미지 영역의 인간 주석 노력(클릭 수로 모델링)을 추정하기 위해 학습된 비용 예측 CNN을 사용한다.
• 비중첩 패치(예: 128×128 또는 256×256)로 이미지를 나누어 局소적이고 비용 인식 가능한 선택을 가능하게 하는 영역 기반 샘플링 전략을 적용한다.
• 엔트로피 및 투표 엔트로피와 같은 불확실성 기반의 취득 함수를 예측된 주석 비용과 곱셈 융합 전략을 통해 조합한다.
• 정보량이 많고 비용이 낮은 이미지 영역을 반복적으로 선택하고 주석 처리하여 최소한의 인간 입력으로 의미 분할 모델을 훈련시킨다.
• 이전 주석 단계의 오라클 피드백을 사용해 비용 모델을 개선하고 향후 샘플링 결정을 향상시킨다.
• 불확실성과 비용 추정의 융합에서 정보 수확량과 비용 간의 균형을 조정하기 위해 하이퍼파rameter α를 최적화한다.

실험 결과

연구 질문

• RQ1 활성 학습은 의미 분할의 주석 작업을 줄이면서도 높은 모델 성능을 유지할 수 있는가?
• RQ2 불확실성 추정과 학습된 비용 모델을 조합하면 데이터 선택의 효율성이 어떻게 향상되는가?
• RQ3 의미 분할을 위한 활성 학습에서 정보량과 주석 비용을 균형 잡는 데 최적의 영역 크기는 무엇인가?
• RQ4 비용 인식 샘플링은 무작위 또는 엔트로피 전용 샘플링에 비해 주석 작업과 mIoU 측면에서 어떻게 성능이 뛰어나게 되는가?
• RQ5 학습된 비용 모델은 모델 정확도를 희생시키지 않고 얼마나 많은 주석 수요를 줄일 수 있는가?

주요 결과

• CEREALS는 전체 Cityscapes 데이터셋을 훈련 세트로 사용한 모델의 평균 교차율(mIoU)의 95%를 클릭 수로 측정한 주석 작업의 17%만으로 달성한다.
• 전체 주석 처리에 비해 주석 비용을 83% 감소시켰으며, mIoU 성능 저하도 오직 5%에 그친다.
• 128×128 영역과 엔트로피 불확실성 및 예측 비용의 곱셈 융합을 사용할 경우, CEREALS는 c95 = 17.07%를 달성하여 총 클릭 작업의 17.07%가 전체 모델 성능의 95%를 제공함을 의미한다.
• 평가 단계에서 진짜 비용 정보를 사용할 경우 c95 = 14.68%를 기록하여, 학습된 비용 모델이 매우 효과적이지만 여전히 향상 여지가 있음을 보여준다.
• 엔트로피 기반 샘플링만을 사용할 경우 주석 작업이 더 많아지며(c95 = 33.76% for 10.01% of labels), 이는 효율성을 위해 비용 인식 선택이 필수적임을 시사한다.
• 더 작은 영역 크기(128×128)는 정보가 풍부한 영역을 더 조밀하게 샘플링할 수 있게 하여 더 큰 영역보다 더 뛰어난 성능을 낳는다. 이는 고불확실성 영역을 더 정밀하게 타겟팅할 수 있기 때문이다.