[논문 리뷰] Pelee: A Real-Time Object Detection System on Mobile Devices

Robert J. Wang, Xiang Li외 1명|arXiv (Cornell University)|2018. 04. 18.

Advanced Neural Network Applications참고 문헌 19인용 수 101

한 줄 요약

본 논문은 일반 합성곱으로 구성된 PeleeNet과 SSD를 최적화한 실시간 탐지 시스템(Pelee)을 제안하여 모바일 하드웨어에서 높은 정확도와 실시간 속도를 달성하고, 정확도와 효율성 면에서 여러 모바일 탐지기를 능가한다.

ABSTRACT

An increasing need of running Convolutional Neural Network (CNN) models on mobile devices with limited computing power and memory resource encourages studies on efficient model design. A number of efficient architectures have been proposed in recent years, for example, MobileNet, ShuffleNet, and MobileNetV2. However, all these models are heavily dependent on depthwise separable convolution which lacks efficient implementation in most deep learning frameworks. In this study, we propose an efficient architecture named PeleeNet, which is built with conventional convolution instead. On ImageNet ILSVRC 2012 dataset, our proposed PeleeNet achieves a higher accuracy and over 1.8 times faster speed than MobileNet and MobileNetV2 on NVIDIA TX2. Meanwhile, PeleeNet is only 66% of the model size of MobileNet. We then propose a real-time object detection system by combining PeleeNet with Single Shot MultiBox Detector (SSD) method and optimizing the architecture for fast speed. Our proposed detection system2, named Pelee, achieves 76.4% mAP (mean average precision) on PASCAL VOC2007 and 22.4 mAP on MS COCO dataset at the speed of 23.6 FPS on iPhone 8 and 125 FPS on NVIDIA TX2. The result on COCO outperforms YOLOv2 in consideration of a higher precision, 13.6 times lower computational cost and 11.3 times smaller model size.

연구 동기 및 목표

• 제한된 컴퓨팅 자원과 메모리를 가진 기기에서 실시간 CNN의 필요성/동기를 제시한다.
• 깊이별 분리 컨볼루션(depthwise separable convolutions) 없이 일반 합성곱(conventional convolutions)을 사용한 효율적인 CNN(PeleeNet)을 설계한다.
• PeleeNet을 최적화된 SSD 기반 탐지기(Pelee)와 통합해 모바일 하드웨어에서 빠른 객체 탐지를 실현한다.
• 모바일 디바이스에서 속도-정확도 트레이드를 평가하고 최첨단 탐지기와 비교한다.

제안 방법

• DenseNet에서 영감을 얻은 네트워크인 PeleeNet을 도입한다. 2-way dense layers, stem block, 동적 병목 채널, 추론 속도 향상을 위한 포스트-활성화(post-activation)를 특징으로 한다.
• 5개의 특징 맵 스케일(19x19, 10x10, 5x5, 3x3, 1x1)과 예측 앞에 잔차 예측 블록(residual prediction blocks)을 갖춘 SSD 기반 탐지기를 채택한다.
• 정확도를 유지하면서 FLOPs와 모델 크기를 줄이기 위해 예측에 1x1 합성곱 커널을 사용한다.
• ImageNet에서 PeleeNet을 미세조정 및 학습하고 VOC2007 및 COCO 데이터 세트에서 평가한다; TX2에서 FP16, iPhone 8에서 CoreML에 맞춰 최적화한다.
• 속도-정확도 향상을 입증하기 위해 MobileNet, ShuffleNet, YOLOv2 및 SSD 변형과 비교한다.

실험 결과

연구 질문

• RQ1 깊이별 분리(convolution) 없이 일반 합성곱만으로 구성된 컨볼루션 네트워크가 모바일 비전 작업에서 더 작은 모델 크기로도 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 PeleeNet을 SSD 기반 탐지기와 특정 설계 선택과 함께 통합하면 정확도를 희생하지 않으면서 모바일 기기에서 실시간 추론이 가능한가?
• RQ3 5개의 특징 맵 스케일, 잔차 예측 블록, 1x1 커널 등의 설계 선택이 임베디드 하드웨어에서 정확도와 속도에 어떤 영향을 미치는가?
• RQ4 VOC 및 COCO 벤치마크에서 mAP 및 계산 비용 면에서 Pelee가 기존 탐지기(YOLOv2, SSD-MobileNet 등)에 비해 어떤 성능을 보이는가?

주요 결과

• PeleeNet은 508 MFLOPs 및 2.8M 파라미터로 ImageNet ILSVRC 2012에서 72.6% top-1 정확도를 달성하여 비슷하거나 더 작은 모델 크기의 MobileNet 및 ShuffleNet보다 우수하다.
• Pelee는 PeleeNet 특징을 사용하는 SSD 기반 탐지기로 VOC07에서 76.4% mAP, COCO에서 22.4 mAP를 달성하며 경쟁 탐지기들에 비해 모델 크기와 FLOPs가 현저히 낮다.
• 실제 장치에서 Pelee는 iPhone 8에서 FP16로 23.6 FPS, NVIDIA TX2에서 125 FPS를 보여 SSD+MobileNet 변형보다 속도가 빠르고 종종 정확도에서도 우수하다.
• COCO test-dev2015에서 Pelee는 SSD+MobileNet 및 YOLOv2보다 더 높은 mAP를 달성하며 YOLOv2보다 3.7배 더 빠르고 모델 크기는 11.3배 작다.
• YOLOv2와 비교하면 Pelee는 COCO에서 더 높은 정밀도와 현저히 낮은 계산 비용 및 모델 크기를 보인다.
• 잔차 예측 블록과 1x1 커널의 설계 선택은 FLOPs 및 파라미터 수를 감소시키면서도 경쟁력 있는 정확도를 유지하는 데 기여한다.