[論文レビュー] Adversarial AutoAugment

Xinyu Zhang, Qiang Wang+2 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Neural Network Applications参考文献 4被引用数 88

ひとこと要約

本論文は、対象ネットワークの訓練中に動的にデータ拡張ポリシーを生成する敵対的な拡張ポリシー网络を導入し、ポリシーの評価に再利用計算を行うことでコストを大幅に削減し、CIFARおよびImageNetで精度を向上させる。

ABSTRACT

Data augmentation (DA) has been widely utilized to improve generalization in training deep neural networks. Recently, human-designed data augmentation has been gradually replaced by automatically learned augmentation policy. Through finding the best policy in well-designed search space of data augmentation, AutoAugment can significantly improve validation accuracy on image classification tasks. However, this approach is not computationally practical for large-scale problems. In this paper, we develop an adversarial method to arrive at a computationally-affordable solution called Adversarial AutoAugment, which can simultaneously optimize target related object and augmentation policy search loss. The augmentation policy network attempts to increase the training loss of a target network through generating adversarial augmentation policies, while the target network can learn more robust features from harder examples to improve the generalization. In contrast to prior work, we reuse the computation in target network training for policy evaluation, and dispense with the retraining of the target network. Compared to AutoAugment, this leads to about 12x reduction in computing cost and 11x shortening in time overhead on ImageNet. We show experimental results of our approach on CIFAR-10/CIFAR-100, ImageNet, and demonstrate significant performance improvements over state-of-the-art. On CIFAR-10, we achieve a top-1 test error of 1.36%, which is the currently best performing single model. On ImageNet, we achieve a leading performance of top-1 accuracy 79.40% on ResNet-50 and 80.00% on ResNet-50-D without extra data.

研究の動機と目的

• 固定ポリシーを用いるのではなく、訓練中に適応する効率的なデータ拡張を動機づける。
• 敵対的なオンラインフレームワークで、ターゲットネットワークの訓練と拡張ポリシー探索を共同最適化する。
• ポリシー評価のためにターゲットネットワーク訓練の計算を再利用して計算コストを削減する。
• 追加データなしでCIFAR-10/100とImageNetにおける最先端の結果を実証する。

提案手法

• 訓練損失を最大化する敵対的拡張ポリシーを生成する拡張ポリシー網（RNNコントローラ）を含むミンマックスゲームを定式化する。
• ポリシー特異的損失を報酬として用いながら、入力ごとに複数の拡張済みインスタンスを含む大規模バッチでターゲットネットワークを訓練する。
• ポリシーネットワークを訓練するためにREINFORCEを用い、勾配分散を減らすために移動平均ベースラインを用いる。
• AutoAugmentの探索空間を、1つのポリシーにつき5つのサブポリシーを構成し、16個の操作と10段階の強さレベルを含むように変更する。
• ターゲットネットワーク訓練からの計算を再利用してポリシーを評価し、各ポリシーごとにターゲットネットワークを再訓練するのを回避する。
• 訓練エポックごとにポリシーを動的に適用し、訓練が進むにつれて変換の難易度を高める。

実験結果

リサーチクエスチョン

• RQ1 敵対的に訓練された拡張ポリシーは、固定またはランダムにサンプルされたポリシーよりも効率的に一般化を改善できるか？
• RQ2 フルデータセットでのオンライン・動的ポリシー探索は、代理タスクのAutoAugmentと比較して計算コストを削減できるか？
• RQ3 追加データなしで、敵対的拡張ポリシーはCIFAR-10/100とImageNetの性能を向上させるか？

主な発見

• CIFAR-10では、PyramidNet+ShakeDropでトップ-1テストエラー1.36%を達成し、従来の最先端を上回った。
• CIFAR-10/100では、複数のモデル（例：Wide-ResNet-28-10、Shake-Shake系、PyramidNet+ShakeDropなど）で、AutoAugmentとPBAを一貫して上回った。
• ImageNetでは、ResNet-50でトップ-1精度79.40%、ResNet-50-Dで80.00%を追加データなしで達成し、AutoAugmentを上回った。
• 敵対的ポリシーでの訓練は、ImageNetのResNet-50でAutoAugmentと比較して計算コスト約12倍、時間オーバーヘッド約11倍を削減する。
• 転移性：学習したポリシーはデータセット/アーキテクチャ間で競争力のある性能を示すが、ポリシー転移は一般に共同学習より効果が低い。