[논문 리뷰] Simple Does It: Weakly Supervised Instance and Semantic Segmentation

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2016. 03. 24.

Machine Learning and Data Classification참고 문헌 45인용 수 33

한 줄 요약

이 논문은 오직 경계 상자 애너테이션만을 사용하여 약한 감독 방식으로 인스턴스 및 세그멘테이션을 수행하는 방법을 제안한다. GrabCut 유사 알고리즘을 활용해 분류 네트워크 학습 절차를 수정하지 않고도 고품질의 학습 레이블을 생성한다. 이는 세그멘테이션 작업 전반에서 완전히 감독된 모델의 약 ~95% 성능을 달성하며, 약한 감독 학습 분야에서 새로운 최고 성능 기록을 수립한다.

ABSTRACT

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose a new approach that does not require modification of the segmentation training procedure. We show that when carefully designing the input labels from given bounding boxes, even a single round of training is enough to improve over previously reported weakly supervised results. Overall, our weak supervision approach reaches ~95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

연구 동기 및 목표

• 픽셀 단위의 세그멘테이션에 필요한 높은 애너테이션 비용을 줄이기 위해 경계 상자 애너테이션을 약한 감독으로 활용하고자 한다.
• 세그멘테이션 네트워크 학습 절차를 수정하지 않고도 약한 감독 기반의 세그멘테이션 성능을 향상시키고자 한다.
• 반복 학습과 상자 기반 세그멘테이션 기법이 레이블 노이즈 제거에 얼마나 효과적인지 탐색하고자 한다.
• 약한 감독 기반 인스턴스 세그멘테이션에서 최초로 최고 성능 기록을 수립하고자 한다.
• 경계 상자에서 신중하게 레이블를 생성할 경우, 아키텍처 변경을 최소화하면서도 완전히 감독된 성능에 근접할 수 있음을 입증하고자 한다.

제안 방법

• 경계 상자 애너테이션에서 GrabCut+를 사용해 가짜 세그멘테이션 마스크를 생성함으로써, 분류 네트워크를 수정하지 않고도 고품질의 학습 레이블을 생성한다.
• 예측 결과가 한 라운드에서 다음 라운드로 전달되는 반복 학습을 적용하여 레이블 노이즈를 감소시킨다.
• 경계 상자를 추가 입력 채널로 사용하는 수정된 DeepLab 네트워크(Deeplab_BOX)를 도입하여 인스턴스별 세그멘테이션을 안내한다.
• 다단계 학습 전략을 사용한다: 먼저 GrabCut+를 통해 가짜 레이블을 생성한 후, 이러한 레이블로 세그멘테이션 네트워크를 훈련시킨다.
• VOC12 및 VOC12+COCO 데이터셋을 사용하여 경계 상자 애너테이션만으로 약한 감독 하에서 모델을 훈련하고 평가한다.
• CRF 후처리를 회피하고, 강력한 레이블 생성 및 네트워크 설계에 의존하여 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 분류 네트워크 학습 절차를 수정하지 않고도 오직 경계 상자 애너테이션만으로 고품질의 세그멘테이션을 달성할 수 있는가?
• RQ2 상자 기반 가짜 레이블 생성과 결합된 반복 학습이 약한 감독 기반 세그멘테이션에 얼마나 효과적인가?
• RQ3 GrabCut 유사 알고리즘이 충분히 정확한 학습 레이블을 생성하여 완전히 감독된 성능에 근접할 수 있는가?
• RQ4 약한 감독 기반 인스턴스 세그멘테이션에서 최고 성능 기록을 달성하는 것이 가능한가?
• RQ5 동일한 네트워크 아키텍처를 사용할 경우, 약한 감독 기반과 완전히 감독 기반 세그멘테이션 간의 성능 격차는 어느 정도인가?

주요 결과

• 제안된 방법은 세그멘테이션 및 인스턴스 세그멘테이션 작업 전반에서 완전히 감독된 모델의 약 ~95% 성능을 달성한다.
• 약한 감독 기반의 DeepLab_BOX는 VOC12+COCO에서 mAPr@0.5 46.4, mAPr@0.75 18.5를 기록했으며, 완전히 감독된 경우는 각각 49.4 및 23.7이었다.
• 이 방법은 약한 감독 기반 세그멘테이션에서 새로운 최고 성능 기록을 수립하였으며, 이는 이전의 반복 학습 또는 EM 기반 방법보다 뛰어난 성능을 보였다.
• 본 논문은 약한 감독 기반 인스턴스 세그멘테이션에서 경쟁 가능한 성능을 보고한 최초의 논문이며, 완전히 감독된 성능의 약 ~95%에 이를 수 있었다.
• GrabCut+는 단순한 상자 채우기나 타원형 피팅보다 훨씬 우수한 가짜 레이블을 생성하여 기준 모델 대비 10-15%의 mAPr 향상을 이끌었다.
• 경계 상자만으로도 감독하는 반복 학습(Box^i)은 강력한 성능을 보였지만, 네트워크 수정이 필요 없는 레이블 생성 방법(M∩G+)에 비해 떨어졌다.