[논문 리뷰] TinyDet: Accurate Small Object Detection in Lightweight Generic Detectors

Shaoyu Chen, Tianheng Cheng외 5명|arXiv (Cornell University)|2023. 04. 07.

Advanced Neural Network Applications인용 수 11

한 줄 요약

TinyDet는 서브-1 GFLOP 예산에서 정확한 소형 물체 탐지를 가능하게 하는 희소 연결 컨볼루션을 갖춘 두 단계의 고해상도 경량 탐지기를 제시하며, COCO test-dev2017에서 경량 탐지기 중 최신 개선 성과를 달성한다.

ABSTRACT

Small object detection requires the detection head to scan a large number of positions on image feature maps, which is extremely hard for computation- and energy-efficient lightweight generic detectors. To accurately detect small objects with limited computation, we propose a two-stage lightweight detection framework with extremely low computation complexity, termed as TinyDet. It enables high-resolution feature maps for dense anchoring to better cover small objects, proposes a sparsely-connected convolution for computation reduction, enhances the early stage features in the backbone, and addresses the feature misalignment problem for accurate small object detection. On the COCO benchmark, our TinyDet-M achieves 30.3 AP and 13.5 AP^s with only 991 MFLOPs, which is the first detector that has an AP over 30 with less than 1 GFLOPs; besides, TinyDet-S and TinyDet-L achieve promising performance under different computation limitation.

연구 동기 및 목표

• 컴퓨트 예산이 타이트한 상황에서 경량 범용 탐지기에 대한 정확한 소형 물체 탐지를 자극한다.
• 작은 물체를 더 잘 포괄하기 위한 고해상도 탐지 맵을 가진 두 단계 탐지기(TinyDet) 개발.
• 고해상도에서 효율성을 유지하기 위해 TinyFPN과 TinyRPN에 희소 연결 컨볼루션 도입.
• 소형 물체 특징 보존을 위해 초기 백본 스테이지를 강화하고 특징 정렬 문제를 해결한다.

제안 방법

• 스트라이드-4 레벨에서 80x80의 고해상도 탐지 특징 맵을 사용해 작은 물체를 조밀하게 고정(anchor)한다.
• TinyFPN과 TinyRPN에 희소 연결 컨볼루션(SCConv)을 도입해 계산량을 줄인다.
• 소형 물체 특징 보존을 위해 초기 스테이지에서 백본 정보를 더 자세히 보강한다.
• 레이어 간 특징 정렬(feature misalignment)을 제거하기 위해 스트라이드 컨볼루션 전에 평균 풀링을 적용한다.
• RPN과 R-CNN 헤드 및 위치 민감적 RoI 정렬을 포함한 2단계 탐지 프레임워크를 적용한다.
• SCConv의 그룹 구성을 조정해 정확도와 FLOPs 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 경량 탐지기에서 정확도를 희생하지 않으면서 소형 물체를 어떻게 효율적으로 탐지할 수 있는가?
• RQ2 희소화된 컨볼루션을 사용하는 고해상도 탐지 맵을 경량 아키텍처에서 저 FLOPs를 유지하며 활용할 수 있는가?
• RQ3 초기 백본 강화 및 특징 정렬 수정이 경량 탐지기의 소형 물체 AP에 어떤 영향을 미치는가?

주요 결과

Detector	FLOPs	AP	AP50	AP75	APs	APm	APl	Input
ThunderNet-SNet146	470M	23.6	40.2	24.5	-	-	-	320^2
ThunderNet-SNet146 (reimpl.)	499M	23.8	40.5	24.7	4.6	23.0	42.9	320^2
TinyDet-S	495M	26.0	45.8	26.5	9.6	26.8	39.5	320^2
MobileNetV2-SSDLite	800M	22.1	-	-	-	-	-	320^2
TinyDet-M	991M	30.3	51.2	31.8	13.5	30.9	43.9	320^2
YOLOv2	17.5G	21.6	44.0	19.2	5.0	22.4	35.5	416^2
TinyDet-L	2.4G	35.5	56.8	38.3	18.3	37.5	48.4	512^2

• TinyDet-M은 COCO test-dev2017에서 991 MFLOPs로 30.3 AP를 달성한다.
• TinyDet-M은 S: 13.5 APs, 30.9 APm, 43.9 APl으로 AP50 51.2와 AP75 31.8을 달성한다.
• TinyDet-S는 495 MFLOPs로 26.0 AP를, TinyDet-L은 2.4 GFLOPs로 35.5 AP를 달성한다.
• TinyDet 변형은 이전의 경량 탐지기 대비 소형 물체(APs)에서 상당한 향상을 보인다(예: ThunderNet 대비 소형 물체에서 2배 이상 향상).
• 정리(Abalations) 결과 백본 강화 및 특징 정렬 보정이 소형 물체에 대해 의미 있는 AP 이득을 제공한다.
• TinyFPN/TinyRPN의 SCConv은 AP의 큰 손실 없이 FLOPs를 감소시킨다.