[論文レビュー] AdaZoom: Adaptive Zoom Network for Multi-Scale Object Detection in Large Scenes

Jingtao Xu, Yali Li+1 more|arXiv (Cornell University)|Jun 19, 2021

Advanced Neural Network Applications参考文献 46被引用数 14

ひとこと要約

AdaZoomは、大規模なシーンにおけるマルチスケールオブジェクト検出のため、柔軟なスケールとアスペクト比を持つ動的フォーカス領域を生成する強化学習ベースのアダプティブズームネットワークを提案する。ポリシー勾配と共同学習による最適化により、追加のアノテーションなしでSOTA性能を達成し、VisDrone2019でAPを4.64%向上させる。

ABSTRACT

Detection in large-scale scenes is a challenging problem due to small objects and extreme scale variation. It is essential to focus on the image regions of small objects. In this paper, we propose a novel Adaptive Zoom (AdaZoom) network as a selective magnifier with flexible shape and focal length to adaptively zoom the focus regions for object detection. Based on policy gradient, we construct a reinforcement learning framework for focus region generation, with the reward formulated by object distributions. The scales and aspect ratios of the generated regions are adaptive to the scales and distribution of objects inside. We apply variable magnification according to the scale of the region for adaptive multi-scale detection. We further propose collaborative training to complementarily promote the performance of AdaZoom and the detection network. To validate the effectiveness, we conduct extensive experiments on VisDrone2019, UAVDT, and DOTA datasets. The experiments show AdaZoom brings a consistent and significant improvement over different detection networks, achieving state-of-the-art performance on these datasets, especially outperforming the existing methods by AP of 4.64% on Vis-Drone2019.

研究の動機と目的

• 大規模な航空画像における小さな、密集した、極めて多様なスケールのオブジェクトを検出する課題に対処すること。
• 固定スケールまたはマルチスケールの画像ピラミッドに欠ける、柔軟性とトレーニングと推論の整合性の欠如を克服すること。
• フォーカス領域の追加アノテーションを必要とせず、関連する画像領域を選択的に拡大する手法を開発すること。
• 共同学習によるズームネットワークと検出器の共同最適化を通じて、検出性能を向上させること。

提案手法

• AdaZoomは、視覚的特徴に基づいて適応的フォーカス領域を生成するポリシー勾配に基づく強化学習フレームワークを用いる。報酬はオブジェクト分布の質に基づく。
• ネットワークは、領域内に存在するオブジェクトの空間的分布とサイズに合わせ、フォーカス領域のスケールとアスペクト比を動的に調整する。
• コンテンツに応じて各フォーカス領域に可変的な拡大率を適用し、ズーム領域内でマルチスケール検出を可能にする。
• 共同学習は、検出器をAdaZoomが生成した領域で改善し、検出フィードバックを用いてAdaZoomが検出が難しい領域を優先するように誘導するのを交互に繰り返す。
• トレーニングと推論の両方で統一されたパイプラインを用いるエンドツーエンドの動作により、段階間の不整合を回避する。
• フォーカス領域の追加アノテーションは不要で、検出性能に基づく報酬信号のみで学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのシステムは、大規模なシーンにおける小さな密集オブジェクトの検出を改善する適応的フォーカス領域を生成できるか？
• RQ2 フォーカス領域の適応的スケーリングとアスペクト比の調整は、マルチスケール検出性能にどのように影響するか？
• RQ3 ズームネットワークと検出器の間の共同学習は、全体の検出精度をどの程度向上させるか？
• RQ4 本手法は、付加的な調整や追加アノテーションなしでSOTA性能を達成できるか？

主な発見

• AdaZoomは、既存手法と比較してVisDrone2019データセットでAPを4.64%絶対的に向上させ、SOTA性能を確立した。
• 適応的スケールとアスペクト比機構は、固定領域ベースラインに比べてAPを0.77%向上させ、共同学習と組み合わせるとさらに1.23%向上させる。
• 適応的領域生成と組み合わせた共同学習は、APを0.71%、AP75を1.00%向上させ、相乗効果が顕著に現れた。
• 7つのフォーカス領域を用いることで、AdaZoomは小さなオブジェクトに対して95.1%のリCALLを達成し、最も困難なインスタンスに強い注目を示した。
• 精度と推論効率のバランスを維持しており、推論時間はフォーカス領域数に比例して線形に増加した。
• 定性的な結果から、AdaZoomは小さな密集オブジェクトを効果的にターゲットにし、フル画像推論と比較してズーム領域内での検出性能が著しく向上した。