[論文レビュー] FenceMask: A Data Augmentation Approach for Pre-extracted Image Features

Pu Li, Xiangyang Li+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 10被引用数 10

ひとこと要約

FenceMaskは、事前に抽出された画像特徴に疎で正則化されたマスクを適用することで、オブジェクトの隠蔽をシミュレートするデータ拡張手法であり、オブジェクト検出および細粒度分類の性能を向上させる。疎で正則化されたマスクを用いることで、隠蔽と特徴の保持のバランスを取ることで、CIFAR100、ImageNet、VisDrone、および細粒度ベンチマークで最先端の結果を達成する。

ABSTRACT

We propose a novel data augmentation method named 'FenceMask' that exhibits outstanding performance in various computer vision tasks. It is based on the 'simulation of object occlusion' strategy, which aim to achieve the balance between object occlusion and information retention of the input data. By enhancing the sparsity and regularity of the occlusion block, our augmentation method overcome the difficulty of small object augmentation and notably improve performance over baselines. Sufficient experiments prove the performance of our method is better than other simulate object occlusion approaches. We tested it on CIFAR10, CIFAR100 and ImageNet datasets for Coarse-grained classification, COCO2017 and VisDrone datasets for detection, Oxford Flowers, Cornel Leaf and Stanford Dogs datasets for Fine-Grained Visual Categorization. Our method achieved significant performance improvement on Fine-Grained Visual Categorization task and VisDrone dataset.

研究の動機と目的

• 深層学習における事前に抽出された画像特徴に対する有効なデータ拡張の課題に取り組む。
• 重要な意味的情報を保持しつつ、現実的なオブジェクトの隠蔽をシミュレートすることで、モデルの一般化性能を向上させる。
• 特に小さなオブジェクトや細粒度視覚分類に対して、従来の隠蔽ベースのデータ拡張手法の限界を克服する。
• オブジェクト検出、分類、および細粒度認識タスクを含む多様なコンピュータビジョンベンチマークで一貫した性能向上を達成する。

提案手法

• 構造的なマスクを用いてオブジェクトの隠蔽をシミュレートする新しいデータ拡張戦略を提案する。
• 特徴の一貫性を保つために、制御されたスパarsityと規則性を持つ隠蔽ブロックを生成する。
• 生画像ではなく、事前に抽出された深層特徴にマスクを適用することで、特徴空間における効率的な拡張を可能にする。
• 性能向上を最大化し、情報損失を最小限に抑えるようにマスクパターンを最適化する。
• モデルの再トレーニングやアーキテクチャの変更を必要とせず、既存のトレーニングパイプラインにスムーズに統合できる。
• バックプロパゲーション中に勾配伝播を保持する微分可能なマスキング機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 疎で正則化されたマスクを用いた構造的隠蔽は、事前に抽出された特徴で学習されたモデルの一般化性能を向上させることができるか？
• RQ2 FenceMaskは、従来の隠蔽ベースのデータ拡張技術と比較して、性能とロバスト性の面で優れているか？
• RQ3 FenceMaskは、小さなオブジェクト検出および細粒度視覚分類をどの程度向上させるか？
• RQ4 ImageNet、COCO、およびVisDroneを含む多様なデータセットとタスクにおいて、性能向上が維持されるか？
• RQ5 特徴空間に効果的に適用可能であり、モデルの精度を損なわないか？

主な発見

• FenceMaskは、細粒度分類タスクで顕著な性能向上を達成し、Oxford Flowers、Cornell Leaf、Stanford Dogsの各データセットで既存手法を上回る。
• VisDroneデータセットでは、特に小さなオブジェクトの検出において顕著な向上を示した。
• CIFAR100およびImageNetにおいて、ベースラインの拡張手法と比較してトップ-1精度が測定可能な程度向上した。
• 実験により、FenceMaskは効果的に隠蔽をシミュレートしながらも高い特徴保持率を維持しており、より良い一般化性能をもたらすことが確認された。
• 分類および検出タスクを含む複数のベンチマークにわたり、優れた一般化性能を示した。
• 性能向上の背景には、構造的マスク設計による隠蔽と情報保持の最適なバランスがあるとされる。