[論文レビュー] AutoAugment: Learning Augmentation Policies from Data

Ekin D. Cubuk, Barret Zoph+3 more|arXiv (Cornell University)|May 24, 2018

Advanced Neural Network Applications参考文献 65被引用数 732

ひとこと要約

AutoAugment はコントローラ RNNと強化学習を用いて効果的なデータ拡張ポリシーを自動的に探索し、複数のデータセットで最先端の結果を達成し、データセット間で転移可能なポリシーを実現します。

ABSTRACT

Data augmentation is an effective technique for improving the accuracy of modern image classifiers. However, current data augmentation implementations are manually designed. In this paper, we describe a simple procedure called AutoAugment to automatically search for improved data augmentation policies. In our implementation, we have designed a search space where a policy consists of many sub-policies, one of which is randomly chosen for each image in each mini-batch. A sub-policy consists of two operations, each operation being an image processing function such as translation, rotation, or shearing, and the probabilities and magnitudes with which the functions are applied. We use a search algorithm to find the best policy such that the neural network yields the highest validation accuracy on a target dataset. Our method achieves state-of-the-art accuracy on CIFAR-10, CIFAR-100, SVHN, and ImageNet (without additional data). On ImageNet, we attain a Top-1 accuracy of 83.5% which is 0.4% better than the previous record of 83.1%. On CIFAR-10, we achieve an error rate of 1.5%, which is 0.6% better than the previous state-of-the-art. Augmentation policies we find are transferable between datasets. The policy learned on ImageNet transfers well to achieve significant improvements on other datasets, such as Oxford Flowers, Caltech-101, Oxford-IIT Pets, FGVC Aircraft, and Stanford Cars.

研究の動機と目的

• 画像分類器の一般化を向上させる拡張戦略の自動発見を動機づける。
• 逐次画像操作を含むサブポリシーからなるポリシーの探索空間を開発する。
• コントローラ（RNN）とポリシー勾配強化学習を用いて検証精度を最適化する。
• 学習したポリシーの直接適用（AutoAugment-direct）とデータセット間転移（AutoAugment-transfer）を実証する。

提案手法

• 各操作は適用確率とマグニチュード値を持つ。
• コントローラRNNを用いてポリシーをサンプリングし、検証精度を報酬として測定する子モデルを訓練する。
• 報酬からのポリシー勾配を用いたPPO（Proximal Policy Optimization）でコントローラを最適化する。
• 最良の5つのポリシーを連結して、トレーニングデータセット用の最終的な25サブポリシー ポリシーを構成する。

実験結果

リサーチクエスチョン

• RQ1 自動的に学習された拡張ポリシーは、手動設計の拡張を超えて画像分類器の性能を向上させられるか？
• RQ2 あるデータセットで見つかったポリシーは他のデータセットとアーキテクチャへ転用可能か？
• RQ3 ポリシーの多様性と確率的適用が一般化へ与える影響は？
• RQ4 AutoAugment は精度と転移性の点で以前の自動拡張手法と比べてどうか？

主な発見

Dataset	GPU hours (est.)	Best published results	Our results
CIFAR-10	5000	2.1	1.5
CIFAR-100	0	12.2	10.7
SVHN	1000	1.3	1.0
Stanford Cars	0	5.9	5.2
ImageNet	15000	3.9	3.5

• AutoAugment は CIFAR-10（1.5%）、CIFAR-100（10.7%）、および SVHN（1.0%）で最先端の誤り率を達成し、ImageNet で Top-1 精度 83.5% を達成。
• ImageNet で学習したポリシーは FGVC データセットへ転用され、追加データなしで一般化を改善する。
• CIFAR-10 では AutoAugment は複数のアーキテクチャにおいて従来手法より大幅な改善をもたらす。
• 転移した ImageNet ポリシーは Stanford Cars と FGVC Aircraft をそれぞれ 1.2%、1.8% 改善。
• 直接 reduced CIFAR-10 で発見されたポリシーは full CIFAR-10/100 および SVHN の結果も改善し、規模を超えた頑健性を示す。