[論文レビュー] Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules

Daniel E. Ho, Eric Liang+3 more|arXiv (Cornell University)|May 14, 2019

Advanced Neural Network Applications参考文献 47被引用数 176

ひとこと要約

この論文は Population-Based Augmentation (PBA) を導入し、Population Based Training を用いて非定常な増強スケジュールを学習し、AutoAugment の性能をはるかに少ない計算で再現する。PBA は CIFAR-10/100 と SVHN で約1000倍の GPU 時間を削減して競争力のある結果を達成する。

ABSTRACT

A key challenge in leveraging data augmentation for neural network training is choosing an effective augmentation policy from a large search space of candidate operations. Properly chosen augmentation policies can lead to significant generalization improvements; however, state-of-the-art approaches such as AutoAugment are computationally infeasible to run for the ordinary user. In this paper, we introduce a new data augmentation algorithm, Population Based Augmentation (PBA), which generates nonstationary augmentation policy schedules instead of a fixed augmentation policy. We show that PBA can match the performance of AutoAugment on CIFAR-10, CIFAR-100, and SVHN, with three orders of magnitude less overall compute. On CIFAR-10 we achieve a mean test error of 1.46%, which is a slight improvement upon the current state-of-the-art. The code for PBA is open source and is available at https://github.com/arcelien/pba.

研究の動機と目的

• データ拡張を正則化として動機付け、巨大な探索空間から効果的な拡張ポリシーを選択する課題を特定する。
• 一般化を改善するための軽量でスケジュールベースの拡張検索手法を提案する。
• 以前の AutoAugment アプローチと比較して計算コストを削減しつつ精度を維持または向上させる。
• CIFAR-10, CIFAR-100, SVHN での PBA の有効性を示し、再現性のためのオープンソースコードを提供する。

提案手法

• 増強ポリシー探索をハイパーパラメータスケジュール学習問題として定式化する。
• Population Based Training (PBT) を用いて増強パラメータとモデル訓練を共同最適化し、時間変化する増強スケジュール f(x,t) を得る。
• 15 の操作を持つ増強ポリシーテンプレートを採用し、それぞれに2つのハイパーパラメータ（確率と大きさ）と各操作の2つのコピーを設定する。
• バッチあたりの適用回数を0–2操作の制限でシーケンスとして定義し、構造化された探索関数を用いてハイパーパラメータを摂動する。
• スケジューリングの価値を評価するために固定ポリシー（AutoAugment スタイル）やランダムベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 非定常な増強スケジュールを学習することは、固定増強ポリシーより一般化を改善するか？
• RQ2 CIFAR-10, CIFAR-100, SVHN で PBA の性能と効率は AutoAugment およびランダムベースラインと比べてどうか？
• RQ3 増強スケジュールが計算コストとスケーラビリティに与える影響は？
• RQ4 探索手法とスケジュール長のハイパーパラメータに PBA はどれだけ影響を受けやすいか？

主な発見

• PBA は CIFAR-10, CIFAR-100, SVHN で AutoAugment の性能にほぼ匹敵し、約1000倍のGPU計算で実現。
• CIFAR-10 では、PBA は平均テスト誤差 1.46%、当時の最先端をわずかに上回る。
• PBA は増強スケジュールを学習するのにおよそ Titan XP で5時間程度の GPU 時間を要し、AutoAugment は数千 GPU 時間を要する。
• 学習スケジュールは固定ポリシーや定常分布を大きく上回る性能を示し、固定ポリシーは複数のモデルで精度を約10%低下させる。
• PBA はデータセットとモデルファミリを横断して頑健性を示し、学習されたスケジュールを用いて CIFAR-10/100 と SVHN で競争力のある結果。