[논문 리뷰] BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation

Jifeng Dai, Kaiming He외 1명|arXiv (Cornell University)|2015. 03. 05.

Advanced Neural Network Applications참고 문헌 33인용 수 146

한 줄 요약

BoxSup는 경계 상자 애너테이션만을 사용하여 딥 컨volution 네트워크를 훈련시키는 약한 지도 학습 세그멘테이션 방법을 제안한다. 이는 영역 제안과 모델 업데이트 간의 반복적 개선을 기반으로 하며, PASCAL VOC 2012(40.5 평균 IoU) 및 PASCAL-CONTEXT(40.5 평균 IoU)에서 최신 기술 수준의 성능을 달성한다. 이는 대규모 COCO 경계 상자 데이터를 활용하여 보다 정확한 세그멘테이션 성능을 끌어올릴 수 있음을 보여주며, 반복 최적화와 결합된 원시적인 애너테이션도 효과적으로 세그멘테이션 정확도 향상에 기여할 수 있음을 입증한다.

ABSTRACT

Recent leading approaches to semantic segmentation rely on deep convolutional networks trained with human-annotated, pixel-level segmentation masks. Such pixel-accurate supervision demands expensive labeling effort and limits the performance of deep networks that usually benefit from more training data. In this paper, we propose a method that achieves competitive accuracy but only requires easily obtained bounding box annotations. The basic idea is to iterate between automatically generating region proposals and training convolutional networks. These two steps gradually recover segmentation masks for improving the networks, and vise versa. Our method, called BoxSup, produces competitive results supervised by boxes only, on par with strong baselines fully supervised by masks under the same setting. By leveraging a large amount of bounding boxes, BoxSup further unleashes the power of deep convolutional networks and yields state-of-the-art results on PASCAL VOC 2012 and PASCAL-CONTEXT.

연구 동기 및 목표

• 딥 컨volution 네트워크를 위한 세그멘테이션 훈련에서 고비용의 픽셀 수준 마스크에 대한 의존도를 줄이기 위해.
• 매우 많은 수의 경계 상자 애너테이션이 쉽게 확보 가능하다는 점을 고려해, 이들이 마스크 지도 학습의 타당한 대체 또는 보완이 될 수 있는지 탐색하기 위해.
• 점진적으로 개선되는 세그멘테이션 마스크를 얻기 위해 영역 제안과 네트워크 업데이트 간의 반복적 개선 프레임워크를 개발하기 위해.
• 대규모 경계 상자 데이터가 반복 최적화와 결합될 경우, 완전한 마스크 지도 학습 기반 모델을 초월할 수 있을 정도로 모델 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 훈련된 네트워크에서 영역 제안을 생성하고, 이를 토대로 다시 네트워크를 훈련시키는 방식으로 반복적으로 번갈아가며 수행한다.
• 선택적 검색과 같은 비지도 영역 제안 방법을 사용하여 경계 상자 제약 조건에서 후보 세그멘테이션 마스크를 생성한다.
• 교차 엔트로피 또는 IoU 기반 최적화를 통해 손실을 계산하여 생성된 가짜 마스크를 사용해 완전 컨volution 네트워크(FCN)를 훈련시킨다.
• COCO 경계 상자와 제한된 PASCAL VOC 마스크 애너테이션의 조합을 사용해 네트워크를 미세 조정하여 일반화 성능을 향상시킨다.
• 성능 향상을 위해 CRF 후처리 및 테스트 시 데이터 증강(다중 척도 추론)을 적용한다.
• ImageNet에서의 사전 훈련과 전이 학습을 활용하여, 약한 지도 학습 조건에서도 특징 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 픽셀 수준 마스크 대신 경계 상자 애너테이션만으로도 세그멘테이션 모델이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 대규모 경계 상자 애너테이션이 약한 지도 학습 세그멘테이션 모델의 성능 향상에 어느 정도 기여하는가?
• RQ3 영역 제안과 네트워크 업데이트 간의 반복적 개선이 점차 더 나은 세그멘테이션 마스크와 모델 정확도를 만들어내는가?
• RQ4 대규모 데이터와 함께 사용될 경우, 경계 상자 지도 학습이 완전한 마스크 지도 학습 모델의 성능을 능가하거나 이를 충족시킬 수 있는가?

주요 결과

• BoxSup는 10,000개의 마스크 애너테이션과 133,000개의 COCO 경계 상자만을 사용하여 PASCAL-CONTEXT에서 40.5 평균 IoU를 달성했으며, 이는 완전한 마스크 지도 학습 기반 기준선(35.7 평균 IoU)을 초월한다.
• PASCAL VOC 2012에서 BoxSup는 VOC 마스크와 COCO 경계 상자를 사용해 73.1 mAP를 기록했으며, 이는 오직 COCO 마스크만을 사용한 강력한 기준선(71.0 mAP)을 뛰어넘는다.
• 이 방법은 PASCAL VOC 2012 및 PASCAL-CONTEXT 벤치마크에서 모두 최신 기술 수준의 성능을 달성했으며, 기존 마스크 기반 방법보다 훨씬 더 약한 지도 학습 조건에서도 성능을 냈다.
• 반드시 마스크 애너테이션을 전부 사용하지 않고 9/10의 마스크를 경계 상자로 대체한 반감독 학습 변형 버전도 완전한 마스크 지도 학습 모델과 유사한 정확도를 달성하여, 레이블링 비용을 크게 줄일 수 있음을 시사한다.
• 오류 분석 결과, 경계 상자 데이터의 주요 이점은 객체 인식 정확도 향상이며, 경계 정렬 향상은 부가적인 이점으로 나타났다.
• 테스트 시 척도 증강이 적용된 결과 BoxSup의 성능은 PASCAL VOC 2012에서 73.1 mAP에서 75.2 mAP로 향상되었으며, 강력한 마스크 지도 학습 모델의 성능에 가까워졌다.