[논문 리뷰] ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation

Di Lin, Jifeng Dai외 3명|arXiv (Cornell University)|2016. 04. 18.

Advanced Neural Network Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 밀도 높은 픽셀 수준 마스크 대신 흩어진 스크래치(annotation)을 사용하여 완전 컨volution 네트워크를 훈련하는 약한 지도 학습 기반의 세분화 방법인 ScribbleSup을 제안한다. 그래픽 모델을 통한 레이블 전파와 엔드 투 엔드 딥 러닝의 공동 최적화를 통해 이 방법은 경쟁적인 성능을 달성한다 — PASCAL-CONTEXT에서 36.1% mIoU, VOC 2012에서 73.1%를 기록하며, 저비용의 스크래치(annotation)가 최소한의 레이블링 비용으로 정확도를 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Large-scale data is of crucial importance for learning semantic segmentation models, but annotating per-pixel masks is a tedious and inefficient procedure. We note that for the topic of interactive image segmentation, scribbles are very widely used in academic research and commercial software, and are recognized as one of the most user-friendly ways of interacting. In this paper, we propose to use scribbles to annotate images, and develop an algorithm to train convolutional networks for semantic segmentation supervised by scribbles. Our algorithm is based on a graphical model that jointly propagates information from scribbles to unmarked pixels and learns network parameters. We present competitive object semantic segmentation results on the PASCAL VOC dataset by using scribbles as annotations. Scribbles are also favored for annotating stuff (e.g., water, sky, grass) that has no well-defined shape, and our method shows excellent results on the PASCAL-CONTEXT dataset thanks to extra inexpensive scribble annotations. Our scribble annotations on PASCAL VOC are available at http://research.microsoft.com/en-us/um/people/jifdai/downloads/scribble_sup

연구 동기 및 목표

• 밀도 높은 마스크 레이블링을 흩어진 스크래치(annotation)로 대체하여 세분화 작업의 레이블링 부담을 줄이기 위해.
• 딥 컨volution 네트워크 훈련을 위해 스크래치(annotation)를 약한 지도 신호로 활용하는 방법을 개발하여, 이미지 수준 및 박스 수준의 지도 학습 간 격차를 메우기 위해.
• 특히 경계가 모호한 'stuff' 카테고리(예: 하늘, 잔디, 물 등)에 대해 스크래치(annotation) 레이블링이 마스크 수준의 레이블링에 비해 비용 효율적인 대안이 될 수 있는지 평가하기 위해.
• 반감독 학습을 통해 제한된 마스크 수준 데이터와 함께 대규모 저비용 스크래치(annotation) 데이터를 결합했을 때 모델 정확도 향상이 얼마나 가능할지 입증하기 위해.

제안 방법

• 이 방법은 공간적 근접도, 외관 유사성, 의미적 맥락을 바탕으로 스크래치(annotation) 레이블을 미표기된 픽셀으로 전파하기 위해 그래픽 모델을 사용한다.
• 그래픽 모델의 신뢰도 점수와 네트워크의 세분화 예측을 결합한 통합 손실 함수를 통해 레이블 전파와 딥 네트워크 훈련을 공동 최적화한다.
• 반복적으로 개선되는 전이된 레이블을 사용해 완전 컨volution 네트워크(FCN)를 엔드 투 엔드로 훈련한다.
• 이 프레임워크는 그래픽 모델의 레이블 전파 업데이트와 FCN의 역전파를 번갈아가며 특징 표현을 개선한다.
• 반감독 학습은 다른 데이터셋(예: VOC 2007)에서 확보한 대규모 스크래치(annotation)-레이블링 이미지와 소량의 마스크 레이블링 이미지를 결합하여 일반화 능력을 향상시킨다.
• 이 방법은 일반화 가능하며, 박스 수준 또는 이미지 수준 레이블링과 같은 다른 약한 지도 신호로도 적용 가능하다.

실험 결과

연구 질문

• RQ1 스kr래치(annotation) 레이블링이 세분화 모델 훈련을 위한 밀도 높은 마스크 레이블링의 효과적이고 효율적인 대안이 될 수 있는가?
• RQ2 마스크 수준의 완전한 레이블링으로 훈련된 강력한 지도 학습 모델과 비교해 스크래치(annotation)-지도 학습 모델의 성능은 어떠한가?
• RQ3 특히 'stuff' 카테고리에 대해 스크래치(annotation) 레이블링이 박스 수준 또는 이미지 수준 레이블링과 같은 다른 약한 지도 학습 패러다임보다 더 높은 성능을 낼 수 있는가?
• RQ4 반감독 설정에서 제한된 마스크 수준 데이터와 함께 대규모 저비용 스크래치(annotation) 데이터를 결합했을 때, 모델 정확도 향상은 어느 정도 이루어지는가?
• RQ5 레이블 전파와 딥 네트워크 훈련을 공동 최적화하는 본 방법이 기존의 약한 지도 학습 방법보다 더 효과적인가?

주요 결과

• PASCAL VOC 2012 검증 세트에서 스크래치(annotation)-지도 학습 방법은 73.1% mIoU를 달성했으며, 이는 10,000장의 VOC 2007 스크래치(annotation) 레이블링 데이터와 11,000장의 마스크 레이블링 이미지를 사용했을 때, 강력한 지도 학습 결과(74.8% 이상)에 근접한 성능을 보였다.
• PASCAL-CONTEXT 데이터셋에서 스크래치(annotation)-지도 학습 방법은 36.1% mIoU를 기록했으며, 이는 강력한 지도 학습 기반 기준(37.7%) 대비 단지 1.6점의 성능 저하에 그쳐 'stuff' 카테고리에서 뛰어난 성능을 보였다.
• 5,000장의 마스크 레이블링된 PASCAL-CONTEXT 이미지와 10,000장의 VOC 2007 스크래치(annotation) 레이블링 데이터를 조합한 반감독 학습 방법은 42.0% mIoU를 달성했으며, 박스 수준 레이블링 데이터의 1/10에 불과한 양임에도 불구하고 BoxSup(40.5%)를 초월했다.
• 이 방법은 하늘, 잔디, 물과 같은 'stuff' 카테고리의 세분화에서 특히 뛰어난 성능을 보였으며, 기존 방법으로는 경계가 명확하지 않은 경우 레이블링이 어려운 영역을 효과적으로 처리할 수 있었다.
• 결과적으로 스크래치(annotation) 레이블링이 훈련 데이터 확장을 위한 비용 효율적인 방법임을 확인했으며, 저비용의 대규모 스크래치(annotation) 데이터를 확보할수록 모델 정확도 향상이 뚜렷하게 이루어진다.