[論文レビュー] Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images

Bowei Du, Yecheng Huang+2 more|arXiv (Cornell University)|Mar 25, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、ドローンオブジェクト検出のためのプラグアンドプレイ型検出ヘッド最適化手法CEASCを提案する。この手法は、文脈強化型スパース畳み込みと適応的マルチレイヤーマスキングを組み合わせ、精度と効率のバランスを図るものである。新規のグループ正規化層を用いてグローバルな文脈を強化し、特徴マップピラミッドの各レイヤーでマスク比を動的に調整することで、VisDroneではGFLOPsを最大76.3%削減し、推論速度を60%向上させるとともに、mAPを0.3%向上させ、UAVDTでは0.2%向上させた。

ABSTRACT

Object detection on drone images with low-latency is an important but challenging task on the resource-constrained unmanned aerial vehicle (UAV) platform. This paper investigates optimizing the detection head based on the sparse convolution, which proves effective in balancing the accuracy and efficiency. Nevertheless, it suffers from inadequate integration of contextual information of tiny objects as well as clumsy control of the mask ratio in the presence of foreground with varying scales. To address the issues above, we propose a novel global context-enhanced adaptive sparse convolutional network (CEASC). It first develops a context-enhanced group normalization (CE-GN) layer, by replacing the statistics based on sparsely sampled features with the global contextual ones, and then designs an adaptive multi-layer masking strategy to generate optimal mask ratios at distinct scales for compact foreground coverage, promoting both the accuracy and efficiency. Extensive experimental results on two major benchmarks, i.e. VisDrone and UAVDT, demonstrate that CEASC remarkably reduces the GFLOPs and accelerates the inference procedure when plugging into the typical state-of-the-art detection frameworks (e.g. RetinaNet and GFL V1) with competitive performance. Code is available at https://github.com/Cuogeihong/CEASC.

研究の動機と目的

• リソース制約のあるUAVプラットフォームにおける軽量オブジェクト検出の精度と推論効率のバランスを図ること。
• ドローン画像における固定または最適でないマスク比によって性能が低下する既存のスパース畳み込み手法の限界を克服すること。
• グローバルな文脈的情報を統合することで、スパース畳み込みにおける特徴表現を向上させ、前景特徴の分布を安定化させ、精度の低下を低減すること。
• 各特徴マップピラミッドレイヤーごとに最適なマスク比を最適化する適応的でレイヤーごとのマスキング戦略を設計し、検出精度を最大化するとともに計算コストを最小化すること。
• 最新の検出器（例：RetinaNetやGFL V1）と互換性があり、ドローンプラットフォームへの効率的なデプロイメントが可能な汎用的でプラグアンドプレイのソリューションを開発すること。

提案手法

• スパースにサンプリングされた特徴からの統計をグローバルな文脈的統計に置き換える文脈強化型グループ正規化（CE-GN）層を提案。これにより、包括的な特徴表現を保持し、前景分布を安定化させる。
• CE-GNを残差ブロックに統合した文脈強化型スパース畳み込み（CESC）モジュールを導入。これにより、スパース畳み込み環境下での特徴学習を強化する。
• 各FPNレイヤーに対して最適なマスク比を独立に計算するための学習可能損失関数を用いた適応的マルチレイヤーマスキング（AMM）方式を設計。これにより、前景スケールの変動に応じた動的適応が可能になる。
• 各FPNレベルでマスク比を推定するレイヤーごとのマスキング戦略を採用。これにより、特徴の重要度とスパarsityのレイヤー間差を考慮し、グローバルマスク比アプローチを上回る性能を達成する。
• CEASCフレームワークを既存の検出器（例：GFL V1やRetinaNet）にプラグインとして適用。これにより、アーキテクチャの大幅な見直しを伴わずに効率的な推論が可能になる。
• 微分可能損失関数を用いてマスク比と検出性能を同時に最適化。これにより、スパース畳み込みがコンactで情報の多い領域に集中し、余分な計算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 スパース畳み込みネットワークにグローバルな文脈を効果的に統合することで、微小オブジェクト検出における特徴分布の安定化と精度の低下低減が可能か？
• RQ2 ドローン画像における検出精度と計算効率のバランスを図るために、異なる特徴マップピラミッドレイヤー間でマスク比をどのように適応的に制御できるか？
• RQ3 可変スケールの前景オブジェクトを含む高解像度ドローン画像に対処する際、レイヤーごとの適応的マスキング戦略は、グローバルマスク比に比べて優れているか？
• RQ4 プラグアンドプレイ型スパース畳み込みヘッドは、GFLOPsをどれほど削減し、推論速度を加速させながら、ドローン検出ベンチマークにおけるmAPを維持または向上させられるか？
• RQ5 提案手法は、再トレーニングを伴わずに、VisDroneやUAVDTなどの異なるSOTA検出器およびデータセットに一般化可能か？

主な発見

• GFL V1（ResNet18バックボーン）を用いたVisDrone上では、CEASCはGFLOPsを71.4%削減し、推論FPSを60%向上させ、mAPを0.3%向上させた。
• UAVDT上では、CEASCはGFLOPsを76.3%削減し、ベースラインGFL V1と比較して推論速度を38.9%向上させ、mAPを0.2%向上させた。
• 適応的マルチレイヤーマスキング（AMM）戦略は、固定マスク比を上回り、最適なマスク比はデータセットごとに異なる（VisDroneでは0.9、UAVDTでは0.95）ことが示され、適応性の必要性が裏付けられた。
• レイヤーごとのAMMアプローチは、グローバルマスク比手法を著しく上回り、特徴のレイヤー間変動をより効果的に処理できることで、より高いmAPとFPSを達成した。
• 高レベルのFPN特徴（P6-P7）を除去してもmAPに顕著な影響はなく、一方P4を除去すると性能が急激に低下した。これにより、P4が検出精度において極めて重要な役割を果たしていることが確認された。
• CEASCは、畳み込みベースの手法の中で最もGFLOPsが少なく、すべての評価手法の中で最高のFPSを達成した。これにより、ドローン検出ベンチマークにおける効率-精度トレードオフの優位性が示された。