[論文レビュー] TinyDet: Accurate Small Object Detection in Lightweight Generic Detectors

Shaoyu Chen, Tianheng Cheng+5 more|arXiv (Cornell University)|Apr 7, 2023

Advanced Neural Network Applications被引用数 11

ひとこと要約

TinyDetは、2段階の高解像度・軽量検出器を、疎結合畳み込みを用いて小さな物体の検出を1 GFLOP未満の予算で正確に実現し、COCO test-dev2017における軽量検出器の中で最先端の結果を達成します。

ABSTRACT

Small object detection requires the detection head to scan a large number of positions on image feature maps, which is extremely hard for computation- and energy-efficient lightweight generic detectors. To accurately detect small objects with limited computation, we propose a two-stage lightweight detection framework with extremely low computation complexity, termed as TinyDet. It enables high-resolution feature maps for dense anchoring to better cover small objects, proposes a sparsely-connected convolution for computation reduction, enhances the early stage features in the backbone, and addresses the feature misalignment problem for accurate small object detection. On the COCO benchmark, our TinyDet-M achieves 30.3 AP and 13.5 AP^s with only 991 MFLOPs, which is the first detector that has an AP over 30 with less than 1 GFLOPs; besides, TinyDet-S and TinyDet-L achieve promising performance under different computation limitation.

研究の動機と目的

• 軽量の汎用検 detectorsに対して、厳しい計算予算の下で小さな物体の正確な検出を動機づける。
• 小さな物体をより良くカバーする高解像度検出マップを備えた2段階検出器（TinyDet）を開発する。
• TinyFPNとTinyRPNを疎結合畳み込みで実装し、高解像度でも効率を維持する。
• 小さな物体の特徴を保持するため、早期バックボーン段階を強化し、特徴のミスアラインメントを解消する。

提案手法

• ストライド4レベルで80x80の高解像度検出特徴マップを用いて小さな物体を密にアンカリングする。
• TinyFPNとTinyRPNに疎結合畳み込み（SCConv）を導入して計算量を削減する。
• 小さな物体の特徴を保持するため、初期段階でバックボーンをより詳細な情報で強化する。
• 層間の特徴ミスアラインメントを除去するため、ストライド畳み込みの前に平均プーリングを適用する。
• RPNとR-CNNヘッドおよび位置感度RoI Alignを組み合わせた2段階検出フレームワークを用いる。
• SCConvのグループ設定を調整して精度とFLOPsのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 軽量検出器で精度を犠牲にすることなく小さな物体を効率的に検出するにはどうすればよいか？
• RQ2 高解像度の検出マップを疎化した畳み込みと組み合わせた軽量アーキテクチャで、FLOPsを低く保ちつつ使用できるのか？
• RQ3 早期バックボーンの強化と特徴のアラインメント修正が、軽量検 detectorの小さな物体のAPに与える影響はどの程度か？

主な発見

Detector	FLOPs	AP	AP50	AP75	APs	APm	APl	Input
ThunderNet-SNet146	470M	23.6	40.2	24.5	-	-	-	320^2
ThunderNet-SNet146 (reimpl.)	499M	23.8	40.5	24.7	4.6	23.0	42.9	320^2
TinyDet-S	495M	26.0	45.8	26.5	9.6	26.8	39.5	320^2
MobileNetV2-SSDLite	800M	22.1	-	-	-	-	-	320^2
TinyDet-M	991M	30.3	51.2	31.8	13.5	30.9	43.9	320^2
YOLOv2	17.5G	21.6	44.0	19.2	5.0	22.4	35.5	416^2
TinyDet-L	2.4G	35.5	56.8	38.3	18.3	37.5	48.4	512^2

• TinyDet-MはCOCO test-dev2017で991 MFLOPsで30.3 APを達成。
• TinyDet-MはS: 13.5 APs, 30.9 APm, 43.9 APlでAP50が51.2、AP75が31.8を達成。
• TinyDet-Sは495 MFLOPsで26.0 AP、TinyDet-Lは2.4 GFLOPsで35.5 APを達成。
• TinyDetのバリエーションは、従来の軽量検出器と比べ、小さな物体のAP（APs）で大幅な改善をもたらす（例：ThunderNetより小さな物体で2倍超のゲイン）。
• アブレーション研究では、バックボーンの強化と特徴アラインメントの修正が、特に小さな物体で意味のあるAPゲインを生むことを示している。
• TinyFPN/TinyRPNにおけるSCConvは、APの損失を最小限に抑えつつFLOPsを削減する。