[논문 리뷰] PVANet: Lightweight Deep Neural Networks for Real-time Object Detection

Sang‐Hoon Hong, Byungseok Roh외 3명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 13인용 수 81

한 줄 요약

PVANet는 실시간 객체 검출을 위한 경량이며 얇고 깊은 컨볼루션 신경망 아키텍처를 제안하며, 수정된 C.ReLU, Inception 모듈, 배치 정규화 및 잔차 연결을 활용하여 ResNet-101 대비 계산 비용을 90% 이상 감소시켰다. VOC2007에서 84.9% mAP, VOC2012에서 84.2% mAP의 성능을 달성하여 50ms 이내의 추론 시간으로 작동하는 가장 효율적인 최신 기술 검출기이다.

ABSTRACT

In object detection, reducing computational cost is as important as improving accuracy for most practical usages. This paper proposes a novel network structure, which is an order of magnitude lighter than other state-of-the-art networks while maintaining the accuracy. Based on the basic principle of more layers with less channels, this new deep neural network minimizes its redundancy by adopting recent innovations including C.ReLU and Inception structure. We also show that this network can be trained efficiently to achieve solid results on well-known object detection benchmarks: 84.9% and 84.2% mAP on VOC2007 and VOC2012 while the required compute is less than 10% of the recent ResNet-101.

연구 동기 및 목표

• 실시간 응용을 위한 계산 비용을 크게 줄이되 정확도를 훼손하지 않는 깊은 신경망을 설계하기 위해.
• 현대 CNN에서의 아키텍처 중복을 탐색하고 효율적인 설계 원칙을 통해 제거하기 위해.
• 최소한의 FLOPs로 최신 기술 검출 성능를 달성하여 자원 제약이 있는 장치에 배포 가능하게 하기 위해.
• 최적화된 구성 요소를 갖춘 얇고 깊은 네트워크가 더 무거운 모델보다 속도와 정확도 측면에서 뛰어날 수 있음을 보여주기 위해.

제안 방법

• 모델 중복을 줄이기 위해 '더 많은 층과 더 적은 채널 수' 원칙을 채택하기 위해.
• 초기 층에서 특징 표현을 향상시키기 위해 채널별 별도의 바이어스를 가진 수정된 C.ReLU를 도입하기 위해.
• 파라미터 증가를 줄이고 다중 척도 수신장역할을 유지하기 위해 더 큰 커널 대신 3x3 컨볼루션을 사용한 Inception 모듈을 사용하기 위해.
• 깊은 네트워크의 훈련 안정성을 높이기 위해 배치 정규화와 사전 활성화 잔차 연결을 적용하기 위해.
• 수렴과 정확도 향상을 위해 손실 수렴 탐지 기반 동적 학습률 스케줄링 정책을 구현하기 위해.
• 검출 정확도 향상을 위해 다중 척도 특징 병합 및 바운딩 박스 투표를 적용하기 위해.

실험 결과

연구 질문

• RQ1 정확도를 훼손하지 않고 깊은 신경망을 상당히 가볍게 만들 수 있는가?
• RQ2 수정된 C.ReLU 및 Inception 모듈과 같은 아키텍처 혁신이 중복과 계산 비용을 얼마나 효과적으로 줄이는가?
• RQ3 배치 정규화와 잔차 연결로 훈련된 얇고 깊은 네트워크가 실시간 추론 속도에서 높은 정확도를 달성할 수 있는가?
• RQ4 ResNet-101 및 VGG-16와 같은 더 무거운 모델과 비교해 PVANet는 정확도 및 추론 효율성 측면에서 어떻게 다른가?
• RQ5 모델 압축 기법을 얼마나 적용하여 추론 속도를 향상시킬 수 있으며, 정확도 손실 없이 얼마나 효과적인가?

주요 결과

• PVANet는 VOC2007에서 84.9% mAP, VOC2012에서 84.2% mAP를 달성하여 ResNet-101 기반 Faster R-CNN보다 0.4% mAP 높은 성능을 보였다.
• 46.1ms(200개의 후보 박스 기준)로 50ms 이내의 추론 시간을 확보하여 80% mAP 이상 성능를 갖는 네트워크 중에서 가장 빠른 성능를 보였다.
• 바운딩 박스 투표를 적용한 PVANet+는 VOC2007에서 84.9% mAP, VOC2012에서 84.2% mAP로 성능을 향상시키며 낮은 지연 시간을 유지했다.
• 자uncated SVD를 통한 모델 압축으로 추론 속도가 31.3 FPS(31.9ms)로 향상되었고, VOC2007에서 정확도 손실은 단 0.5%에 그쳤다.
• PVANet+의 이론적 계산 비용은 27.8 GMAC로, ResNet-101 기반 Faster R-CNN(206.4 GMAC)의 10% 미만이었다.
• PASCAL VOC2012 랭킹에서 >80% mAP를 확보하고 추론 시간 ≤50ms를 충족하는 유일한 네트워크로서 전체 4위를 기록했다.