[논문 리뷰] Rich feature hierarchies for accurate object detection and semantic segmentation

Ross Girshick, Jeff Donahue외 2명|arXiv (Cornell University)|2013. 11. 11.

Advanced Neural Network Applications참고 문헌 22인용 수 522

한 줄 요약

이 논문은 선택적 검색 영역 제안과 깊이 학습된 합성곱 신경망(CNN)을 활용한 특징 추출 및 선형 서포트 벡터 머신(SVM)을 통한 분류를 조합하는 새로운 객체 검출 프레임워크인 R-CNN(RoI with CNN features)을 소개한다. ImageNet에서의 사전 훈련과 VOC 검출 데이터에서의 미세 조정을 통해 전이 학습을 활용함으로써, R-CNN는 PASCAL VOC 2012에서 53.3%의 평균 정밀도(mAP)를 달성하여 이전 방법 대비 30% 상대적 향상을 이룩한다.

ABSTRACT

Object detection performance, as measured on the canonical PASCAL VOC dataset, has plateaued in the last few years. The best-performing methods are complex ensemble systems that typically combine multiple low-level image features with high-level context. In this paper, we propose a simple and scalable detection algorithm that improves mean average precision (mAP) by more than 30% relative to the previous best result on VOC 2012---achieving a mAP of 53.3%. Our approach combines two key insights: (1) one can apply high-capacity convolutional neural networks (CNNs) to bottom-up region proposals in order to localize and segment objects and (2) when labeled training data is scarce, supervised pre-training for an auxiliary task, followed by domain-specific fine-tuning, yields a significant performance boost. Since we combine region proposals with CNNs, we call our method R-CNN: Regions with CNN features. We also compare R-CNN to OverFeat, a recently proposed sliding-window detector based on a similar CNN architecture. We find that R-CNN outperforms OverFeat by a large margin on the 200-class ILSVRC2013 detection dataset. Source code for the complete system is available at http://www.cs.berkeley.edu/~rbg/rcnn.

연구 동기 및 목표

• 기존의 HOG 기반 및 앙상블 방법에서 관찰된 정확도 정체 현상을 극복함으로써 PASCAL VOC에서의 객체 검출 성능 향상.
• 대규모 이미지 분류 작업에서 사전 훈련된 깊이 학습된 CNN이, 제한된 레이블이 부여된 검출 데이터로도 효과적으로 객체 검출에 적응할 수 있는지 탐구.
• 영역 제안과 깊이 학습된 특징의 조합이 객체 검출 및 의미 세분화 모두에 얼마나 효과적인지 평가.
• R-CNN의 성능을 OverFeat와 같은 슬라이딩 윈도우 검출기와 비교하여 ILSVRC2013과 같은 대규모 벤치마크에서 평가.

제안 방법

• 선택적 검색을 사용해 이미지당 약 2,000개의 카테고리 독립적 영역 제안을 생성한다.
• 각 영역 제안을 고정된 크기(227×227)로 변형하여 사전 훈련된 깊이 학습된 CNN(AlexNet)에 입력으로 제공함으로써 깊이 학습된 합성곱 특징을 추출한다.
• 각 영역 제안을 PASCAL VOC의 20개 클래스 중 하나로 분류하기 위해 클래스별 선형 SVM을 CNN 특징 기반으로 훈련한다.
• CNN은 이중 단계 프로세스를 통해 검출 데이터셋에서 엔드 투 엔드로 미세 조정된다: 먼저 ImageNet에서 사전 훈련하고, 그 다음 VOC에서 더 높은 초기 학습률을 사용해 미세 조정한다.
• 예측된 영역의 국소화를 향상시키기 위해 경계 상자 회귀를 적용하여 국소화 오차를 줄인다.
• 동일한 영역 기반 CNN 특징 추출 및 분류 파이프라인을 적용함으로써 프레임워크를 의미 세분화로 확장한다.

실험 결과

연구 질문

• RQ1 전통적인 수작업으로 만든 특징(HOG 등)과 비교해, 영역 제안과 결합된 깊이 학습된 신경망(CNN)이 객체 검출 정확도를 크게 향상시킬 수 있는가?
• RQ2 대규모 이미지 분류 작업(예: ImageNet)에서의 전이 학습 후, 더 작은 검출 데이터셋에서의 미세 조정이 객체 검출 성능 향상에 상당한 기여를 하는가?
• RQ3 대규모 검출 벤치마크에서 R-CNN의 성능은 OverFeat와 같은 슬라이딩 윈도우 검출기와 비교해 평균 정밀도(mAP) 측면에서 어떻게 나타나는가?
• RQ4 동일한 영역 기반 CNN 프레임워크가 의미 세분화 작업에 얼마나 잘 일반화되는가?

주요 결과

• R-CNN는 PASCAL VOC 2012 검출 데이터셋에서 53.3%의 평균 정밀도(mAP)를 달성하여 이전 최고 성능 대비 30% 상대적 향상을 이룩한다.
• ILSVRC2013 검출 데이터셋에서 R-CNN는 mAP 31.4%를 기록하여, mAP 24.3%를 기록한 OverFeat를 크게 앞서며 성능을 뛰어넘는다.
• ImageNet에서의 사전 훈련과 VOC에서의 미세 조정을 포함한 전이 학습의 활용은, 특히 레이블이 부족한 검출 데이터에서 성능 향상에 상당한 기여를 한다.
• 경계 상자 회귀는 국소화 오차를 줄여, 특히 겹치거나 모호한 물체 경계가 있는 경우 검출 정확도를 향상시킨다.
• 프레임워크는 의미 세분화 작업으로도 잘 일반화되며, 영역 기반 CNN 특징이 검출 및 세분화 작업 모두에 효과적임을 보여준다.
• PASCAL VOC 2010에서 R-CNN는 mAP 53.7%를 기록하여 공간 피라미드와 시각어워드의 백본을 사용한 시스템을 크게 앞서는 최신 기술 수준의 성능을 달성한다.