[논문 리뷰] PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection

Kye-Hyeon Kim, Sang‐Hoon Hong외 3명|arXiv (Cornell University)|2016. 08. 29.

Advanced Neural Network Applications참고 문헌 7인용 수 202

한 줄 요약

PVANET는 C.ReLU, Inception, 및 HyperNet에서 영감을 받은 다중 스케일 융합으로 딥하고 얇은 특징 추출기를 설계하여 VOC에서 최첨단 mAP를 달성하면서 계산량을 크게 줄여 실시간 탐지를 가능하게 한다.

ABSTRACT

This paper presents how we can achieve the state-of-the-art accuracy in multi-category object detection task while minimizing the computational cost by adapting and combining recent technical innovations. Following the common pipeline of "CNN feature extraction + region proposal + RoI classification", we mainly redesign the feature extraction part, since region proposal part is not computationally expensive and classification part can be efficiently compressed with common techniques like truncated SVD. Our design principle is "less channels with more layers" and adoption of some building blocks including concatenated ReLU, Inception, and HyperNet. The designed network is deep and thin and trained with the help of batch normalization, residual connections, and learning rate scheduling based on plateau detection. We obtained solid results on well-known object detection benchmarks: 83.8% mAP (mean average precision) on VOC2007 and 82.5% mAP on VOC2012 (2nd place), while taking only 750ms/image on Intel i7-6700K CPU with a single core and 46ms/image on NVIDIA Titan X GPU. Theoretically, our network requires only 12.3% of the computational cost compared to ResNet-101, the winner on VOC2012.

연구 동기 및 목표

• 정확도를 해치지 않으면서 객체 탐지에서 계산 비용을 줄이는 동기를 부여한다.
• Faster R-CNN 프레임워크에 적합한 경량이면서도 깊은 특징 추출기를 설계한다.
• 속도와 성능의 균형을 맞추기 위해 (C.ReLU, Inception, HyperNet) 빌딩 블록을 탐구한다.
• VOC 벤치마크에서 경쟁력 있는 mAP로 실시간 성능을 입증한다.

제안 방법

• 지역 제안과 RoI 분류의 효율성을 유지하면서 특징 추출 네트워크를 재설계한다.
• 초기 단계 채널을 절반으로 줄이고 부정 활성화와 연결해 특징 맵을 두 배로 늘리기 위해 C.ReLU를 사용한다.
• 다중 스케일 수용 영역을 포착하기 위해 Inception 모듈을 활용한다.
• RPN과 분류기를 위한 최종 특징 맵으로 융합되는 HyperNet 스타일의 다중 스케일 중간 출력들을 채택한다.
• 배치 정규화, 잔차 연결, 플래토 기반 학습률 스케줄링으로 학습한다.
• 효율성을 위해 다중 스케일 특징의 일부만 RPN에 공급하고 RoI 기반 분류에는 전체 convf를 사용한다.

실험 결과

연구 질문

• RQ1 깊지만 폭이 좁은 네트워크가 계산 비용을 크게 줄이면서도 최첨단 탐지 정확도를 달성할 수 있는가?
• RQ2 C.ReLU, Inception 블록, 및 다중 스케일 융합(HyperNet 스타일)이 객체 탐지 벤치마크에 측정 가능한 이점을 제공하는가?
• RQ3 PVANET의 Faster R-CNN 설정에서 CPU와 GPU에서 실시간 성능과 정확도 간의 트레이드오프는 어떤가?
• RQ4 VOC2007/2012 벤치마크에서 PVANET의 성능이 ResNet-101 및 다른 백본들과 어떻게 비교되는가?

주요 결과

• PVANET은 ResNet-101보다 계산량이 크게 적으면서도 VOC2007에서 83.8% mAP, VOC2012에서 82.5% mAP(2nd place)를 달성한다.
• PVANET은 1065x640 입력에서 특징 추출에 7.9 GMAC를 사용하며 이는 ResNet-101의 약 12.3% 수준이다.
• CPU에서 (단일 코어 i7-6700K) PVANET은 이미지당 750 ms(1.3 FPS); Titan X GPU에서는 이미지당 46 ms(21.7 FPS)로 실행된다.
• RPN은 제안에 대해 convf의 처음 128 채널만 사용하고 RCNN은 RoI 처리를 위해 512-channel convf를 사용한다.
• PVANET+ (경계 상자 투표를 포함)는 VOC2007에서 83.8% mAP, VOC2012에서 82.5% mAP를 달성하면서도 더 무거운 백본들보다 효율적이다.
• 잘라낸 SVD로 완전 연결층을 압축하면 실행 시간이 단축되며 mAP는 다소 감소해 82.9%에 이른다.