[논문 리뷰] Tiny-DSOD: Lightweight Object Detection for Resource-Restricted Usages

Yuxi Li, Jiuwei Li외 2명|arXiv (Cornell University)|2018. 07. 29.

Advanced Neural Network Applications참고 문헌 27인용 수 80

한 줄 요약

Tiny-DSOD는 depthwise dense blocks와 depthwise FPN을 도입하여 매우 작은 파라미터 수와 FLOPs로 높은 mAP를 달성하고 VOC, KITTI, COCO에서 다른 초효율 검출기들을 능가합니다.

ABSTRACT

Object detection has made great progress in the past few years along with the development of deep learning. However, most current object detection methods are resource hungry, which hinders their wide deployment to many resource restricted usages such as usages on always-on devices, battery-powered low-end devices, etc. This paper considers the resource and accuracy trade-off for resource-restricted usages during designing the whole object detection framework. Based on the deeply supervised object detection (DSOD) framework, we propose Tiny-DSOD dedicating to resource-restricted usages. Tiny-DSOD introduces two innovative and ultra-efficient architecture blocks: depthwise dense block (DDB) based backbone and depthwise feature-pyramid-network (D-FPN) based front-end. We conduct extensive experiments on three famous benchmarks (PASCAL VOC 2007, KITTI, and COCO), and compare Tiny-DSOD to the state-of-the-art ultra-efficient object detection solutions such as Tiny-YOLO, MobileNet-SSD (v1 & v2), SqueezeDet, Pelee, etc. Results show that Tiny-DSOD outperforms these solutions in all the three metrics (parameter-size, FLOPs, accuracy) in each comparison. For instance, Tiny-DSOD achieves 72.1% mAP with only 0.95M parameters and 1.06B FLOPs, which is by far the state-of-the-arts result with such a low resource requirement.

연구 동기 및 목표

• 자원 제약이 있는 사용 환경(저메모리 및 저계산)에 최적화된 경량 객체 검출기를 설계한다.
• 파라미터 수와 FLOPs를 최소화하면서 탐지 정확도를 유지하거나 개선한다.
• 학습을 처음부터 가능하게 하고 효율적인 추론을 가능하게 하기 위해 컴팩트한 아키텍처 블록을 활용한다.
• 경량 특징 피라미드를 통한 프런트 엔드 의미 결합 가능성을 조사한다.
• 다중 데이터셋에서 최첨단 초효율 검출기와의 벤치마크를 수행한다.

제안 방법

• DenseNet의 dense blocks를 대체하기 위한 depthwise dense blocks(DDB)를 제안; 두 가지 변형 DDB-a와 DDB-b; 더 나은 효율성과 정확성으로 인해 백본에 DDB-b를 선택한다.
• 깊은 차원의 합성 정보를 스케일 간 융합하기 위한 프런트 엔드로 depthwise convolutions와 bilinear 보간을 이용한 upsampling 경로를 적용한 depthwise FPN(D-FPN)을 도입한다.
• DSOD에서 영감을 받은 심층 감독을 통해 처음부터 학습 가능하도록 SSD 프레임워크를 바탕으로 Tiny-DSOD를 구축한다.
• VOC07+12에서 처음부터 학습하고 VOC2007, KITTI, COCO에서 데이터 증강과 온라인 하드 샘플 마이닝으로 평가한다.
• mAP, 파라미터 수, FLOPs 관점에서 Tiny-YOLO, SqueezeDet, MobileNet-SSD, Pelee, DSOD 등의 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 깊이wise dense block 기반 백본과 depthwise FPN 프런트를 결합하면 객체 검출에서 자원 대비 정확도에 유리한 trade-off를 달성할 수 있는가?
• RQ2 비슷한 파라미터 예산에서 DDB-b와 DDB-a의 정확도 및 계산 효율에 어떤 차이가 있는가?
• RQ3 가벼운 프런트 엔드(D-FPN)가 벤치마크 전반에서 FLOPs/매개변수 증가를 최소로 하면서 의미 있는 정확도 향상을 제공하는가?
• RQ4 VOC07, KITTI, COCO에서 Tiny-DSOD가 mAP, 파라미터 크기, FLOPs 측면에서 다른 초효율 검출기들과 비교해 어떤 성과를 보이는가?

주요 결과

• Tiny-DSOD는 VOC2007에서 72.1% mAP를 0.95M 파라미터와 1.06B FLOPs로 달성한다.
• DDB-b 백본은 비슷한 자원 예산에서 DDB-a보다 성능이 우수하다(예: 0.90M params에서 DDB-b는 70.2% mAP, DDB-a는 63.1%).
• D-FPN은 약 0.03B FLOPs와 0.05M 파라미터를 추가하지만 VOC2007에서 약 1.9% mAP 향상을 가져온다.
• TitanX에서 300x300 입력으로 105 FPS(9.5 ms)로 Tiny-DSOD를 실행하며, 빠른 속도로 여러 경량 탐지기보다 빠르면서도 훨씬 적은 파라미터를 사용한다.
• KITTI에서 Tiny-DSOD는 0.85M params와 4.1B FLOPs로 77.0% mAP를 달성하고 여러 소형 탐지기를 능가한다.
• COCO test-dev에서 Tiny-DSOD는 1.12B FLOPs와 1.15M 파라미터로 23.2 AP@IoU 0.5:0.95를 달성하며 경량 모델 중 MobileNet-SSD와 PeleeNet을 능가하고 일부 전체 탐지기에도 근접한다.