[論文レビュー] AMRNet: Chips Augmentation in Aerial Images Object Detection

Zhiwei Wei, Chenzhen Duan+3 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Neural Network Applications被引用数 25

ひとこと要約

AMRNetは、空中画像におけるオブジェクト検出の性能向上を目的として、推論コストを伴わない3つの効率的なデータ拡張技術——適応的クロッピング、モザイク拡張、マスク再サンプリング——を提案する。チップサイズを動的に調整し、スパarsely配置された部分領域を複合的な画像に統合し、レアクラスのオブジェクトマスクを再サンプリングすることで、VisDroneでは30.8のSOTA AP、UAVDTでは18.2のSOTA APを達成。すべての手法は独立して性能向上をもたらし、推論速度に影響を与えない。

ABSTRACT

Object detection in aerial images is a challenging task due to the following reasons: (1) objects are small and dense relative to images; (2) the object scale varies in a wide range; (3) the number of object in different classes is imbalanced. Many current methods adopt cropping idea: splitting high resolution images into serials subregions (chips) and detecting on them. However, some problems such as scale variation, object sparsity, and class imbalance exist in the process of training network with chips. In this work, three augmentation methods are introduced to relieve these problems. Specifically, we propose a scale adaptive module, which dynamically adjusts chip size to balance object scale, narrowing scale variation in training. In addtion, we introduce mosaic to augment datasets, relieving object sparity problem. To balance catgory, we present mask resampling to paste object in chips with panoramic segmentation. Our model achieves state-of-the-art perfomance on two popular aerial image datasets of VisDrone and UAVDT. Remarkably, three methods can be independently applied to detectiors, increasing performance steady without the sacrifice of inference efficiency.

研究の動機と目的

• チップベースの学習を用いて、空中画像におけるオブジェクト検出におけるスケール変動、オブジェクトのスパarsity、クラス不均衡を解決する。
• 小さな、密集した、不均衡な空中オブジェクトに対する検出器の汎化性能と性能を向上させる。
• 既存のチップベース検出器に容易に統合可能な、軽量で推論互換性を持つ拡張手法を開発する。
• VisDroneおよびUAVDTデータセットにおいて、各拡張手法の個別および統合効果を検証する。

提案手法

• オブジェクト平均スケールに基づいてチップサイズを動的に再調整する適応的クロッピングモジュールを導入し、チップ間のスケール変動を低減する。
• 複数のスパarsely配置された部分領域を1つの複雑な画像に統合することでモザイク拡張を実装し、前景オブジェクトの密度と多様性を向上させる。
• パノラマセグメンテーションを用いてインスタンスマスクを貼り付けるマスク再サンプリングを提案し、希少カテゴリの空間的・意味的コンテキストを保持する。
• 適応的クロッピングを制御するためのスケールしきい値パラメータ（VisDroneでは100、UAVDTでは60）を設定し、最適なオブジェクト対チップカバレッジを確保する。
• モザイクのオブジェクトスケールを50および30ピクセルに制限し、現実性を保ちつつ過学習を回避する。
• マスク再サンプリングを車両を除く全クラスに対して選択的に適用し、希少カテゴリに注目することでクラス分布のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 適応的クロッピングは、多様なオブジェクトサイズにわたる検出器のロバスト性を向上させるために、チップ間のスケール変動を低減できるか？
• RQ2 複数の部分領域を統合することで、モザイク拡張はチップ内のオブジェクトスパarsityを効果的に軽減できるか？
• RQ3 インスタンスレベルのセグメンテーションに基づくマスク再サンプリングは、不均衡なデータセットにおける希少オブジェクトカテゴリの検出性能を向上させられるか？
• RQ4 3つの拡張手法が個別および統合的に、空中ベンチマークにおける検出精度をどの程度向上させるか？
• RQ5 これらの手法は推論時間の増加を伴わず適用可能であり、既存の検出器に即座に統合可能か？

主な発見

• AMRNetは、ResNet-50を用いてVisDroneデータセットで30.8のSOTA APを達成し、従来手法を上回る性能を示した。
• UAVDTでは18.2のAPを達成し、モザイク拡張のみでベースラインから1.6ポイントの向上を示した。
• マルチスケール推論と組み合わせた場合、適応的クロッピングはマルチスケールテスト性能を1.7ポイント向上させ、スケール整合性の有効性を示した。
• 10,000枚の画像にのみ拡張を適用した場合でも、モザイク拡張は0.3ポイントのAP向上を示し、スパarsely配置されたチップにおいて強力な有効性を示した。
• マスク再サンプリングとモザイク拡張は重複する利益（0.2ポイント）を示しており、両者とも希少クラスの不足を緩和していると考えられる。
• アブレーションスタディの結果、3つの手法すべてが独立して性能向上をもたらし、特に適応的クロッピングとモザイク拡張がAP向上に最も寄与していることが確認された。