[論文レビュー] Scale-aware Automatic Augmentation for Object Detection

Yukang Chen, Yanwei Li+5 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications参考文献 49被引用数 8

ひとこと要約

本稿では、画像レベル（ズームイン/アウト）およびボックスレベル（スケールに適応する面積比）の増幅を統合的に最適化する、新しいスケールに敏感な探索空間を備えたオートデータ増幅手法、Scale-aware AutoAugを提案する。パラメータの最適化に効率的なPareto Scale Balance指標を導入することで、先行手法と比較して40倍低い探索コストで最先端の性能を達成し、COCO上で最大1.0%のAP向上を実現するとともに、インスタンスセグメンテーションやキーポints検出へも効果的に転送可能である。

ABSTRACT

We propose Scale-aware AutoAug to learn data augmentation policies for object detection. We define a new scale-aware search space, where both image- and box-level augmentations are designed for maintaining scale invariance. Upon this search space, we propose a new search metric, termed Pareto Scale Balance, to facilitate search with high efficiency. In experiments, Scale-aware AutoAug yields significant and consistent improvement on various object detectors (e.g., RetinaNet, Faster R-CNN, Mask R-CNN, and FCOS), even compared with strong multi-scale training baselines. Our searched augmentation policies are transferable to other datasets and box-level tasks beyond object detection (e.g., instance segmentation and keypoint estimation) to improve performance. The search cost is much less than previous automated augmentation approaches for object detection. It is notable that our searched policies have meaningful patterns, which intuitively provide valuable insight for human data augmentation design. Code and models will be available at https://github.com/Jia-Research-Lab/SA-AutoAug.

研究の動機と目的

• オブジェクト検出におけるスケール変動の課題に対処するため、画像レベルおよびボックスレベルのスケール変動を明示的に考慮したデータ増幅戦略の開発。
• 手動で設計されたおよび先行の学習済み増幅ポリシーの限界を克服し、画像空間およびオブジェクトボックス空間の両方におけるスケールに敏感なアプローチを完全に活用する。
• オブジェクト検出における自動増幅探索の高い計算コストを低減しつつ、性能を維持または向上させる。
• 効率的でスケーラブルかつ転送可能な増幅ポリシーを実現するための探索空間と評価指標の設計。
• 人間が設計するデータ増幅戦略にインサイトを提供する、解釈可能で意味のある増幅パターンの提供。

提案手法

• 画像レベルのズームイン・ズームアウト操作（学習可能な確率および強度を有する）と、スケールに適応する面積比でパrameter化されたボックスレベルの増幅を含む、スケールに敏感な探索空間を導入。
• 検証精度と複数スケールにおける累積損失に基づいてポリシーを評価する新規の探索指標、Pareto Scale Balanceを提案。これにより、代理精度に比べて実際の性能との相関性が向上する。
• 強化学習またはNASに類似した最適化手法を用いて、スケールに敏感な探索空間上でニューラルアーキテクチャ探索を実施し、高性能な増幅ポリシーを同定。
• ガウスマップを用いた一般化された増幅により、スケール変動に対する耐性を高めるため、空間的コンテキストを保持。
• RetinaNet、Faster R-CNN、FCOS、Mask R-CNNなどのアンカーベースおよびアンカーレスな検出器を用いて、MS COCO や Pascal VOC などのオブジェクト検出ベンチマークでポリシーを訓練および検証。
• アーキテクチャの変更なしに、学習済みポリシーをインスタンスセグメンテーションやキーポイント推定などのボックスレベルタスクへ転送。

実験結果

リサーチクエスチョン

• RQ1 画像レベルおよびボックスレベルの増幅をスケールに適応するパrameterで統合した統一された探索空間は、オブジェクト検出性能を向上させることができるか？
• RQ2 複数スケールにわたるスケールバランス性能に基づく新規の探索指標は、従来の代理精度に比べ、効率的な増幅探索を効果的に導くことができるか？
• RQ3 探索された増幅ポリシーは、異なるオブジェクト検出器やデータセットに一般化可能であり、オブジェクト検出を越えたタスクに対しても有効か？
• RQ4 学習済みの増幅ポリシーにどのような意味のあるパターンが現れるか？また、それらは人間が設計するデータ増幅戦略にインサイトを提供できるか？
• RQ5 Scale-aware AutoAugは、特徴ピラミッド（例：FPN）のようなアーキテクチャ的要素を、スケール不変性を達成するために代替・置換できるか？

主な発見

• ResNet-50を用いたRetinaNetでは41.3% AP、Faster R-CNNでは41.8% AP、FCOSでは42.6% APを達成し、強力なベースラインを大きく上回る。
• ResNeXt-32x8d-101-DCNをバックボーンとする強力なFCOSベースラインでは、単一スケールテスト下でAPを47.5%から48.5%（+1.0%向上）に向上。より大きなトレーニング画像を用いることでAPは49.6%に到達。
• マルチスケールテストを適用した場合、改善されたFCOSモデルは51.4% APを達成し、同じバックボーンで46.1% AP（SNIPER）および47.0% AP（SNIP）を上回る。
• 探索コストを20 GPU日まで低減し、先行手法（例：AutoAug-det）が必要としていた400 TPU日と比較して40倍の低減を達成。
• 学習済みポリシーは解釈可能なパターンを示す：ズームアウトが好まれる（確率および強度が高くなる）、オブジェクトのスケールが大きいほど面積比が低下する、幾何的操作が色操作よりも優勢である。
• Faster R-CNNにおけるFPNの代替として、Clean ResNet-50-C4ベースラインでAPを34.7%から36.8%に向上（ネットワークの変更なしに）。