[論文レビュー] Fast AutoAugment.

Sungbin Lim, Ildoo Kim+3 more|arXiv (Cornell University)|May 1, 2019

Advanced Neural Network Applications参考文献 25被引用数 95

ひとこと要約

Fast AutoAugment は、密度マッチングに基づく探索戦略を採用し、AutoAugment よりも数個のオーダーの高速化を達成する。CIFAR-10、CIFAR-100、SVHN、ImageNet において同等の性能を達成し、GPU 時間を著しく削減した。

ABSTRACT

Data augmentation is an essential technique for improving generalization ability of deep learning models. Recently, AutoAugment has been proposed as an algorithm to automatically search for augmentation policies from a dataset and has significantly enhanced performances on many image recognition tasks. However, its search method requires thousands of GPU hours even for a relatively small dataset. In this paper, we propose an algorithm called Fast AutoAugment that finds effective augmentation policies via a more efficient search strategy based on density matching. In comparison to AutoAugment, the proposed algorithm speeds up the search time by orders of magnitude while achieves comparable performances on image recognition tasks with various models and datasets including CIFAR-10, CIFAR-100, SVHN, and ImageNet.

研究の動機と目的

• AutoAugment の探索プロセスに伴う高い計算コスト（数千 GPU 時間）を軽減すること。
• 高いモデル性能を維持しつつ、より効率的なデータ拡張方針の探索戦略を開発すること。
• 多様な画像認識データセットにおいて、効果的な拡張方針を高速かつスケーラブルに探索できること。
• 正確性を損なわず、自動データ拡張のための時間とリソース要件を削減すること。

提案手法

• 本手法は、拡張データの分布をターゲットデータの分布と一致させるために、密度マッチングを用いて拡張方針の探索をガイドする。
• 拡張データの分布と元の学習データの分布の乖離を最小化する最適化問題として探索を定式化する。
• 微分可能な探索空間と勾配ベースの最適化を用いて、拡張操作とハイパーパramータを効率的に探索する。
• 探索中にパフォーマンスを評価するためにプロキシバリデーションセットを活用し、完全なトレーニングサイクルの必要性を減らす。
• 小さなデータサブセットと軽量モデルを用いて期待される精度を近似することで、探索プロセスを高速化する。
• 最終的な方針はバリデーションセット上のパフォーマンスに基づいて選択され、下流タスクへの一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 より効率的な探索戦略は、AutoAugment の計算コストを削減しつつ、パフォーマンスを維持または向上させることができるか？
• RQ2 強化学習と比較して、密度マッチングは探索効率性と正確性の面でどのように異なるか？
• RQ3 画像認識ベンチマークにおけるモデル一般化性能が劣化しない範囲で、どの程度探索時間を短縮できるか？
• RQ4 CIFAR-10、CIFAR-100、SVHN、ImageNet などの異なるデータセットにおいて、提案手法はどの程度スケーラブルか？

主な発見

• Fast AutoAugment は、すべての評価対象データセットにおいて、AutoAugment よりも探索時間を数個のオーダー短縮した。
• CIFAR-10、CIFAR-100、SVHN、ImageNet において、AutoAugment と同等のパフォーマンスを達成し、精度の低下は最小限に抑えられた。
• 大規模なデータセット（例：ImageNet）に対しても、スケーラブルで効果的な探索が可能であり、計算コストを削減しながら高い精度を維持した。
• 密度マッチングの活用により、方針探索における収束が速く、最適化がより安定した。