[논문 리뷰] HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection

Tao Kong, Anbang Yao외 2명|arXiv (Cornell University)|2016. 04. 03.

Advanced Neural Network Applications인용 수 139

한 줄 요약

HyperNet은 계층 CNN 특징을 Hyper Feature로 융합하여 지역 제안과 객체 탐지를 공동으로 학습하고, 약 100개의 제안으로 높은 재현율을 달성하며 VOC2007/2012에서 최첨단 mAP를 달성하고 실시간 가능성을 보인다.

ABSTRACT

Almost all of the current top-performing object detection networks employ region proposals to guide the search for object instances. State-of-the-art region proposal methods usually need several thousand proposals to get high recall, thus hurting the detection efficiency. Although the latest Region Proposal Network method gets promising detection accuracy with several hundred proposals, it still struggles in small-size object detection and precise localization (e.g., large IoU thresholds), mainly due to the coarseness of its feature maps. In this paper, we present a deep hierarchical network, namely HyperNet, for handling region proposal generation and object detection jointly. Our HyperNet is primarily based on an elaborately designed Hyper Feature which aggregates hierarchical feature maps first and then compresses them into a uniform space. The Hyper Features well incorporate deep but highly semantic, intermediate but really complementary, and shallow but naturally high-resolution features of the image, thus enabling us to construct HyperNet by sharing them both in generating proposals and detecting objects via an end-to-end joint training strategy. For the deep VGG16 model, our method achieves completely leading recall and state-of-the-art object detection accuracy on PASCAL VOC 2007 and 2012 using only 100 proposals per image. It runs with a speed of 5 fps (including all steps) on a GPU, thus having the potential for real-time processing.

연구 동기 및 목표

• 높은 재현율을 유지하면서 지역 제안 수를 줄이는 동기를 제시한다.
• 지역 제안 생성과 객체 탐지의 공동 최적화를 수행하는 통합 네트워크를 개발한다.
• 다중 수준 CNN 특징을 활용하여 소형 물체의 위치 추정 및 위치 정확도를 향상시킨다.
• 실시간 또는 대규모 배치를 위한 효율적인 학습 및 추론 프레임워크를 제안한다.

제안 방법

• 여러 레이어의 계층 CNN 특징 맵을 다중 레벨에서 통합하고 압축하여 균일한 공간으로 합성해 Hyper Feature를 생성한다.
• ROI 풀링 및 경계상 회귀를 사용하여 이미지당 약 100개의 제안을 출력하는 경량 지역 제안 네트워크를 설계한다.
• Hyper Feature를 공유하고, FC 이전에 향상된 Conv 계층을 사용하며, NMS를 활용한 클래스별 경계 상자 회귀를 수행하는 탐지 네트워크를 구현한다.
• 6단계 학습 절차를 통해 제안 모듈과 탐지 모듈을 공동 학습하여 통합 HyperNet을 형성한다.
• 피처 차원을 축소하고 분류기를 단순화하여 계층의 재정렬로 제안 및 탐지 단계를 가속화한다.

실험 결과

연구 질문

• RQ1 HyperNet이 대략 100개의 제안으로 다양한 IoU 임계에서 높은 재현율을 달성할 수 있는가?
• RQ2 깊은 중간 및 얕은 CNN 특징을 융합한 Hyper Feature가 제안 품질과 탐지 정확도 모두를 향상시키며 특히 작은 물체에 대해 도움이 되는가?
• RQ3 제안 생성과 객체 탐지의 공동 학습이 단계적 학습에 비해 전체 성능에 어떤 영향을 미치는가?
• RQ4 HyperNet의 런타임 특성은 어떠하며, 정확도를 해치지 않으면서 실시간에 근접할 수 있는가?

주요 결과

• HyperNet은 PASCAL VOC 2007에서 IoU 0.5 기준 50개 제안으로 95% 재현율, 100개 제안으로 97% 재현율을 달성한다.
• VOC 2007에서 HyperNet은 76.3% mAP를 달성하여 IoU 0.5에서 Fast R-CNN보다 6.3포인트, Faster R-CNN보다 3.1포인트 앞선다.
• VOC 2012에서 HyperNet은 71.4% mAP를 달성했으며 comp4 트랙에서 최상위 결과를 보이고 여러 베이스라인을 능가한다.
• 속도 향상 버전(HyperNet-SP)은 GPU 하드웨어에서 약 5 fps를 달성하면서도 강한 정확도를 유지한다.
• 다중 해상도 특징을 결합하고 적절한 해상도로 구성된 이 아키텍처의 Hyper Feature는 물체의 위치 추정 및 소형 물체 탐지(예: 병, 식물)에 기여한다.