[論文レビュー] AMRNet: Chips Augmentation in Areial Images Object Detection.

Zhiwei Wei, Chenzhen Duan|arXiv (Cornell University)|Sep 15, 2020

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

AMRNetは、空中画像におけるオブジェクト検出の性能向上を目的として、スケール適応モジュール、モザイクデータ拡張、マスクリサンプリングの3つの新しいデータ拡張技術を提案する。チップサイズを動的に調整することでスケール変動を低減し、モザイクによってオブジェクトのスパarsityを軽減し、パノラマセグメンテーションに基づくリサンプリングでクラスの不均衡を是正することで、推論効率を損なわずにVisDroneおよびUAVDTで最先端の性能を達成する。

ABSTRACT

Object detection in aerial images is a challenging task due to the following reasons: (1) objects are small and dense relative to images; (2) the object scale varies in a wide range; (3) the number of object in different classes is imbalanced. Many current methods adopt cropping idea: splitting high resolution images into serials subregions (chips) and detecting on them. However, some problems such as scale variation, object sparsity, and class imbalance exist in the process of training network with chips. In this work, three augmentation methods are introduced to relieve these problems. Specifically, we propose a scale adaptive module, which dynamically adjusts chip size to balance object scale, narrowing scale variation in training. In addtion, we introduce mosaic to augment datasets, relieving object sparity problem. To balance catgory, we present mask resampling to paste object in chips with panoramic segmentation. Our model achieves state-of-the-art perfomance on two popular aerial image datasets of VisDrone and UAVDT. Remarkably, three methods can be independently applied to detectiors, increasing performance steady without the sacrifice of inference efficiency.

研究の動機と目的

• トレーニング中にチップサイズを動的に調整することで、空中画像のオブジェクト検出におけるスケール変動を軽減する。
• モザイクベースのデータ拡張を用いて、チップ内のオブジェクトスパarsityを低減する。
• パノラマセグメンテーションマスクを活用してオブジェクトの配置を制御することで、オブジェクト検出におけるクラスの不均衡を是正する。
• 推論効率を維持したまま、空中データセットにおける検出性能を向上させる。
• 再トレーニングを必要とせず、既存の検出器に拡張技術をモジュラリティを保って統合できるようにする。

提案手法

• オブジェクトのスケール分布に基づいてチップサイズを動的に選択するスケール適応モジュールを導入し、トレーニングサンプル内のスケール変動を最小化する。
• 複数の高解像度画像を1つのトレーニングチップに統合するモザイク拡張を適用し、オブジェクト密度を向上させ、スパarsityを低減する。
• パノラマセグメンテーションマスクを活用してオブジェクトの配置をガイドすることで、マスクリサンプリングを実装し、オブジェクトカテゴリ間での代表的表現のバランスを確保する。
• 各手法を独立して適用可能であるように、拡張パイプラインをモジュラーフレームワークとして設計し、既存のオブジェクト検出器と互換性を持たせる。
• アーキテクチャの変更を要せず、標準的な損失関数を用いて拡張チップ上で検出器をトレーニングする。
• 複雑な後処理や追加の推論ブランチを避けることで、推論効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 空中画像チップにおけるスケール変動は、オブジェクト検出のトレーニング段階でどのように軽減できるか？
• RQ2 モザイクベースの拡張は、高解像度空中画像チップにおけるオブジェクトスパarsityをどの程度軽減できるか？
• RQ3 パノラマセグメンテーションに基づくマスクリサンプリングは、空中オブジェクト検出におけるクラスの不均衡を効果的に是正できるか？
• RQ4 提案手法の拡張技術は、個別および統合的に空中ベンチマークでの検出性能にどのように寄与するか？
• RQ5 これらの拡張手法は、既存の検出器に適用可能であり、推論速度の低下を引き起こさないか？

主な発見

• スケール適応モジュールは、多様なオブジェクトサイズにわたる安定した検出性能と高い精度を実現し、トレーニングチップ内のスケール変動を効果的に低減した。
• モザイク拡張は、希少またはスパースなオブジェクトの検出性能を顕著に向上させ、トレーニングサンプル内での存在割合を増加させた。
• マスクリサンプリングは、代表されないオブジェクトカテゴリがトレーニングチップに十分に反映されるようにすることで、クラスの不均衡を効果的に是正した。
• 提案手法は、VisDroneおよびUAVDTの両データセットで最先端の性能を達成し、さまざまな評価指標において一貫した向上を示した。
• 各拡張技術は、既存の検出器に独立して適用可能であり、推論時間に影響を与えることなく、安定した性能向上をもたらした。