[논문 리뷰] Speed/accuracy trade-offs for modern convolutional object detectors

Jonathan Huang, Vivek Rathod외 9명|arXiv (Cornell University)|2016. 11. 30.

Advanced Neural Network Applications참고 문헌 42인용 수 157

한 줄 요약

본 논문은 Faster R-CNN, R-FCN, SSD 메타-아키텍처를 여러 피처 추출기, 이미지 해상도, 제안(프로포절) 수에 걸쳐 apples-to-apples 비교 평가를 수행하여 속도/정확도/메모리 트레이드오프를 매핑하고 최적 구성을 식별한다.

ABSTRACT

The goal of this paper is to serve as a guide for selecting a detection architecture that achieves the right speed/memory/accuracy balance for a given application and platform. To this end, we investigate various ways to trade accuracy for speed and memory usage in modern convolutional object detection systems. A number of successful systems have been proposed in recent years, but apples-to-apples comparisons are difficult due to different base feature extractors (e.g., VGG, Residual Networks), different default image resolutions, as well as different hardware and software platforms. We present a unified implementation of the Faster R-CNN [Ren et al., 2015], R-FCN [Dai et al., 2016] and SSD [Liu et al., 2015] systems, which we view as "meta-architectures" and trace out the speed/accuracy trade-off curve created by using alternative feature extractors and varying other critical parameters such as image size within each of these meta-architectures. On one extreme end of this spectrum where speed and memory are critical, we present a detector that achieves real time speeds and can be deployed on a mobile device. On the opposite end in which accuracy is critical, we present a detector that achieves state-of-the-art performance measured on the COCO detection task.

연구 동기 및 목표

• 현대 컨볼루션 기반 탐지 시스템에 대한 간결한 개요를 제공하고 이들의 유사한 상위 수준 설계를 보여준다.
• Faster R-CNN, R-FCN, SSD의 통합 TensorFlow 기반 구현을 만들어 공정한 속도/정확도 비교가 가능하게 한다.
• 다양한 피처 추출기, 제안 수, 입력 크기가 속도, 메모리, 정확도에 어떤 영향을 미치는지 특성화한다.
• 속도/정확도 프런티어의 달콤한 지점을 식별하고 단일 모델에서 거의 최첨단 성능을 시연한다.
• 실시간 또는 고정밀도 탐지기를 실용적 응용에 가능하게 하는 구성들을 설명한다.

제안 방법

• 세 가지 메타-아키텍처(Faster R-CNN, R-FCN, SSD)에 대해 단일 패스 검출기를 TensorFlow에서 통합 구현한다.
• 여섯 가지 피처 추출기(VGG-16, ResNet-101, Inception v2, Inception v3, Inception-ResNet v2, MobileNet)의 조합을 평가한다.
• 입력 이미지 크기를 다르게 하며(고해상도: 600, 저해상도: 300) Faster R-CNN/R-FCN의 경우 영역 제안 수를 10–300으로 변화시킨다.
• 표준 그라운드-truth 인코딩과 Smooth L1 로컬라이제이션 손실을 사용하여 Argmax 매칭을 한다.
• 비동기 SGD로 엔드-투-엔드 학습하고 배치정규화 매개변수를 고정하며 COCO 메트릭(mAP, IOU 임계값에 따라)을 사용해 COCO에서 평가한다.
• 비극성 억제(NMS)로 후처리하고 1-image 배치에서 GPU의 시간/메모리를 보고한다.

실험 결과

연구 질문

• RQ1 Faster R-CNN, R-FCN, SSD 메타-아키텍처 간에 속도, 메모리, 정확도 간의 트레이드오프는 어떻게 나타나는가?
• RQ2 각 메타-아키텍처 내에서 서로 다른 피처 추출기가 탐지 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 입력 해상도와 제안 수가 속도와 mAP에 미치는 효과는 무엇인가?
• RQ4 실시간 성능과 정확도를 균형 있게 조합하는 속도/정확도 프런티어의 뚜렷한 지점이 식별되는가?
• RQ5 단일 모델 탐지기가 앙상블이나 멀티 크롭 방식 없이도 최첨단 정확도에 근접할 수 있는가?

주요 결과

• Faster R-CNN은 일반적으로 느리지만 더 정확한 경향이 있으며, 실행 시간을 줄이기 위해 제안 수를 제한하지 않으면 그렇다.
• R-FCN 및 SSD는 일반적으로 구성 간에 경쟁력 있는 정확도와 함께 더 빠른 추론을 제공한다.
• 연구는 예를 들면 ResNet-101과 50–100 제안으로 구성된 Faster R-CNN이나 300 제안으로 구성된 ResNet-101의 R-FCN 같은 뚜렷한 속도/정확도 후보를 식별한다.
• 가장 정확한 단일 모델 구성은 Inception-Resnet-v2와 300 제안의 Faster R-CNN으로 보고되지만 가장 느린 옵션이다.
• MobileNet 또는 Inception V2를 사용하는 SSD 구성은 평가된 설정 중 가장 빠른 결과를 제공하며 저해상도에서 주목할만한 정확도 이점을 보인다.
• 입력 해상도를 높이면 mAP가 향상되지만 런타임은 상당히 증가하여 정확도와 속도 간의 트레이드오프를 강조한다.