[논문 리뷰] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

Shaoqing Ren, Kaiming He외 2명|arXiv (Cornell University)|2015. 06. 04.

Advanced Neural Network Applications참고 문헌 22인용 수 18,219

한 줄 요약

Faster R-CNN은 Region Proposal Networks(RPNs)을 도입하여 탐지 네트워크와 전체 이미지를 공유하는 합성곱 특성을 활용해 고품질 영역 제안을 생성하고, 하나의 네트워크에서 더 빠르고 정확한 객체 검출을 가능하게 한다.

ABSTRACT

State-of-the-art object detection networks depend on region proposal algorithms to hypothesize object locations. Advances like SPPnet and Fast R-CNN have reduced the running time of these detection networks, exposing region proposal computation as a bottleneck. In this work, we introduce a Region Proposal Network (RPN) that shares full-image convolutional features with the detection network, thus enabling nearly cost-free region proposals. An RPN is a fully convolutional network that simultaneously predicts object bounds and objectness scores at each position. The RPN is trained end-to-end to generate high-quality region proposals, which are used by Fast R-CNN for detection. We further merge RPN and Fast R-CNN into a single network by sharing their convolutional features---using the recently popular terminology of neural networks with 'attention' mechanisms, the RPN component tells the unified network where to look. For the very deep VGG-16 model, our detection system has a frame rate of 5fps (including all steps) on a GPU, while achieving state-of-the-art object detection accuracy on PASCAL VOC 2007, 2012, and MS COCO datasets with only 300 proposals per image. In ILSVRC and COCO 2015 competitions, Faster R-CNN and RPN are the foundations of the 1st-place winning entries in several tracks. Code has been made publicly available.

연구 동기 및 목표

• 최신 검출기의 영역 제안 병목 현상을 줄이고자 동기 부여한다.
• 검출 네트워크와 특징을 공유하는 완전한 합성곱(RPN)을 개발한다.
• RPN을 엔드투엔드로 학습하고 이를 Fast R-CNN과 통합하여 하나의 네트워크로 만든다.
• 표준 벤치마크(PASCAL VOC, MS COCO)에서 속도-정확도 향상을 시연한다.

제안 방법

• 완전 합성곱(fully convolutional)인 Region Proposal Networks(RPNs)을 도입하고 Fast R-CNN과 합성곱 계층을 공유한다.
• 각 슬라이딩 윈도 위치에서 3스케일 3종 종횡비를 가진 다중 앵커(k=9)를 예측하여 다중 스케일 객체를 커버한다.
• 객체성 분류와 경계상자 회귀를 결합한 다-task 손실로 학습한다.
• 객체 이동 시 일관된 제안을 보장하고 매개변수를 줄이기 위해 이동 불변 앵커 기제를 사용한다.
• 제안 및 검출을 위한 공유 특성으로 하나의 네트워크를 만들기 위해 4단계 교대/공유 방식으로 학습한다.
• PASCAL VOC와 COCO에서 평가하고 Selective Search와 EdgeBoxes와 비교한다; 실시간에 근접한 속도(예: VGG-16에서 5fps)를 시연한다.

실험 결과

연구 질문

• RQ1 CNN 프레임워크 내에서 탐지 정확도를 희생하지 않으면서 영역 제안을 효율적으로 생성할 수 있는가?
• RQ2 제안 네트워크와 검출 네트워크 사이의 합성곱 특징 공유가 계산량과 메모리를 줄이면서 정확도를 유지하거나 향상시키는가?
• RQ3 앵커 기반 다중 스케일 제안이 전통적인 이미지 피라미드 또는 피쳐 피라미드 멀티필터와 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ4 RPN과 Fast R-CNN을 결합한 하나의 엔드 투 엔드 학습 가능한 네트워크를 얻기 위한 최적의 학습 전략은 무엇인가?
• RQ5 제안된 방법이 더 깊은 네트워크와 COCO와 같은 더 큰 데이터셋으로 어떻게 확장되는가?

주요 결과

• RPN은 검출기와 합성곱 특징을 공유하여 제안 영역을 거의 비용 없이 생성하게 한다(예: 제안에 이미지당 10 ms).
• Faster R-CNN은 이미지당 약 300개의 제안만으로 VOC 2007 및 2012에서 경쟁력 있거나 우수한 mAP를 달성하며, 정확도 면에서 Selective Search와 EdgeBoxes를 능가하면서도 훨씬 빠르다.
• 외부 제안 방법을 RPN으로 대체하면 엔드 투 엔드 검출이 더 빨라진다(예: VGG-16에서 GPU로 모든 단계 포함 시 5 fps).
• RPN과 Fast R-CNN 사이에 공유된 합성곱 특징을 가진 단일 네트워크는 높은 검출 정확도를 유지하고 독립적으로 학습하는 것에 비해 학습 시간을 줄인다.
• 앵커 기반 다중 스케일 제안은 피처 피라미드나 이미지 피라미드가 필요 없이 객체의 스케일과 종횡비를 효과적으로 커버한다.
• 더 강력한 백본 네트워크(예: VGG-16)는 RPN 제안 품질과 하류 검출 성능을 향상시키며(ZF 기반 구성보다 mAP 향상).