[논문 리뷰] All you need are a few pixels: semantic segmentation with PixelPick

Gyungin Shin, Weidi Xie외 1명|arXiv (Cornell University)|2021. 04. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 71인용 수 5

한 줄 요약

이 논문은 상태의 최고 성능을 달성하는 새로운 활성 학습 프레임워크인 PixelPick를 제안한다. 이는 흩어진 픽셀 주석을 오직 몇 개의 샘플로만 사용하여 정밀한 세그멘테이션을 수행한다. 모델이 예측한 픽셀 제안과 마우스를 사용하지 않는 인터페이스를 활용함으로써, CamVid, Cityscapes, Pascal VOC 2012 벤치마크에서 높은 정확도를 유지하면서도 주석 비용을 최대 100배까지 감소시킨다.

ABSTRACT

A central challenge for the task of semantic segmentation is the prohibitive cost of obtaining dense pixel-level annotations to supervise model training. In this work, we show that in order to achieve a good level of segmentation performance, all you need are a few well-chosen pixel labels. We make the following contributions: (i) We investigate the novel semantic segmentation setting in which labels are supplied only at sparse pixel locations, and show that deep neural networks can use a handful of such labels to good effect; (ii) We demonstrate how to exploit this phenomena within an active learning framework, termed PixelPick, to radically reduce labelling cost, and propose an efficient "mouse-free" annotation strategy to implement our approach; (iii) We conduct extensive experiments to study the influence of annotation diversity under a fixed budget, model pretraining, model capacity and the sampling mechanism for picking pixels in this low annotation regime; (iv) We provide comparisons to the existing state of the art in semantic segmentation with active learning, and demonstrate comparable performance with up to two orders of magnitude fewer pixel annotations on the CamVid, Cityscapes and PASCAL VOC 2012 benchmarks; (v) Finally, we evaluate the efficiency of our annotation pipeline and its sensitivity to annotator error to demonstrate its practicality.

연구 동기 및 목표

• 세그멘테이션에서 밀도 높은 픽셀 수준 주석의 높은 비용 문제를 해결하기 위해 최소한의 인간 입력으로도 흩어진 레이블링을 탐색한다.
• 마우스 사용을 최소화하기 위해 국소화 작업에서 분류 작업으로 전환함으로써 실용적이고 효율적인 주석 파이프라인을 개발한다.
• 낮은 주석 예산 하에서 주석 다양성, 모델 용량, 샘플링 전략의 영향을 평가한다.
• 깊이 신경망이 오직 잘 선택된 몇 개의 픽셀 레이블만으로도 강력한 세그멘테이션 성능를 달성할 수 있음을 보여준다.
• 실제 배포 환경에서 잠재적인 주석자 실수를 고려한 프레임워크의 강건성과 효율성을 검증한다.

제안 방법

• 모델이 불확실성 샘플링(예: 마진 샘플링) 기반으로 반복적으로 가장 정보가 많은 픽셀 위치를 선택하는 활성 학습 프레임워크를 제안한다.
• 모델이 예측한 픽셀 좌표를 질의 제안으로 사용함으로써, 주석자가 마우스로 공간적 국소화를 수행할 필요가 없어진다.
• 주석자가 단일 키보드 입력을 통해 사전 제안된 픽셀을 분류하기만 하는 마우스를 사용하지 않는 주석 인터페이스를 구현한다.
• 희소 레이블로 세그멘테이션 모델(예: ResNet50 기반의 FPN)을 훈련하고, 매 라운드마다 가장 불확실한 픽셀을 재질의한다.
• 다양성 인식 샘플링 전략을 적용하여 다양한 객체 클래스와 공간 영역을 포괄하는 것을 보장한다.
• 실제 오류를 시뮬레이션하는 데 고려된 강건한 훈련 프rotocol을 통합한다.

실험 결과

연구 질문

• RQ1 어느 정도의 픽셀 주석이 경쟁적인 세그멘테이션 성능을 달성하는 데 필요한가?
• RQ2 고정된 주석 예산 하에서 어떤 샘플링 전략(예: 불확실성, 다양성)이 가장 높은 성능을 낼 수 있는가?
• RQ3 마우스를 사용하지 않는 주석 인터페이스는 정확도를 흔들지 않으면서 레이블링 시간을 크게 줄일 수 있는가?
• RQ4 모델 용량과 사전 훈련이 낮은 주석 예산 환경에서 성능에 어떤 영향을 미치는가?
• RQ5 실제로 인간 주석 오류에 프레임워크가 얼마나 민감한가?

주요 결과

• PixelPick는 CamVid, Cityscapes, Pascal VOC 2012에서 기존 최고 성능 기술과 비교해도 유사한 mIoU 성능을 달성하면서도, 픽셀 주석 수를 최대 100배까지 줄였다.
• VOC12 검증 세트에서 ResNet50 기반의 PixelPick는 오직 1.5K개의 정밀 주석(1장당 10개 픽셀)으로 68.0%의 mIoU를 달성했으며, 더 큰 예산을 요구하는 몇몇 이전의 약한 지도 학습 방법보다도 뛰어난 성능을 보였다.
• 마우스를 사용하지 않는 주석 인터페이스는 1장당 10개 픽셀을 10초 이내로 주석 처리할 수 있었으며, 지표 레이블과 평균 90%의 정확도를 기록했다.
• 프레임워크는 주석 노이즈에 강건하다: 10%의 레이블 왜곡을 인위적으로 도입하더라도 성능 저하가 거의 없었다.
• 마진 샘플링은 낮은 주석 예산 환경에서 무작위 샘플링과 다른 획득 함수보다 일관되게 뛰어난 성능을 보였다.
• 더 깊은 모델(예: ResNet50)은 낮은 주석 예산 하에서 얕은 모델보다 일반화 성능이 뛰어나며, 데이터가 부족한 상황에서 모델 용량이 유리함을 시사한다.