[論文レビュー] RandAugment: Practical data augmentation with no separate search.

Ekin D. Cubuk, Barret Zoph+2 more|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 51被引用数 183

ひとこと要約

RandAugmentは、プロキシタスクを必要とせず、ターゲットモデルおよびデータセット上で直接増幅ポリシーを最適化する実用的で探索を要しないデータ拡張手法を提案する。CIFAR-10、CIFAR-100、SVHN、ImageNet（トップ1正答率85.0％）で最先端の性能を達成し、AutoAugmentなどの先行学習手法を上回る。また、モデルおよびデータセットのサイズに応じて動的に正則化強度を調整可能である。

ABSTRACT

Recent work has shown that data augmentation has the potential to significantly improve the generalization of deep learning models. Recently, learned augmentation strategies have led to state-of-the-art results in image classification and object detection. While these strategies were optimized for improving validation accuracy, they also led to state-of-the-art results in semi-supervised learning and improved robustness to common corruptions of images. One obstacle to a large-scale adoption of these methods is a separate search phase which significantly increases the training complexity and may substantially increase the computational cost. Additionally, due to the separate search phase, these learned augmentation approaches are unable to adjust the regularization strength based on model or dataset size. Learned augmentation policies are often found by training small models on small datasets and subsequently applied to train larger models. In this work, we remove both of these obstacles. RandAugment may be trained on the model and dataset of interest with no need for a separate proxy task. Furthermore, due to the parameterization, the regularization strength may be tailored to different model and dataset sizes. RandAugment can be used uniformly across different tasks and datasets and works out of the box, matching or surpassing all previous learned augmentation approaches on CIFAR-10, CIFAR-100, SVHN, and ImageNet. On the ImageNet dataset we achieve 85.0% accuracy, a 0.6% increase over the previous state-of-the-art and 1.0% increase over baseline augmentation. On object detection, RandAugment leads to 1.0-1.3% improvement over baseline augmentation, and is within 0.3% mAP of AutoAugment on COCO. Finally, due to its interpretable hyperparameter, RandAugment may be used to investigate the role of data augmentation with varying model and dataset size.

研究の動機と目的

• 学習済みデータ拡張における別個のプロキシ探索段階の必要性を排除することにより、トレーニングの複雑さと計算コストを低減すること。
• モデルおよびデータセットのサイズに応じて正則化強度を自動で適応可能にすることにより、小さなプロキシで学習された固定ポリシーの限界を克服すること。
• 再トレーニングや再設定が不要な、統一的で即座に利用可能な拡張戦略を構築することにより、多様なタスクおよびデータセットに効果的に適用できること。
• 解釈可能性を保ちつつ、1つの直感的なハイパーパrameterによって画像分類およびオブジェクト検出における一般化性能とロバスト性を向上させること。
• モデルおよびデータセットのスケールに応じて正則化強度を変化させることで、データ拡張の影響を体系的かつ系統的に調査できること。

提案手法

• RandAugmentは、単純で固定されたパrameter化を採用する：各入力画像に対して、N個の可能な拡張操作のうちK個をランダムに選択して適用する。Kは調整可能なハイパーパrameterである。
• 拡張操作は事前に定義された探索空間から一様にランダムに選択されるため、強化学習やニューラルアーキテクチャ探索の必要がなくなる。
• ポリシーは、別個のプロキシタスクや別段階の探索を経ずに、標準的なトレーニングループを用いてターゲットモデルおよびデータセット上で直接学習される。
• 正則化の強度はハイパーパrameter Kによって制御され、1枚の画像に適用される拡張操作の数を決定し、モデルやデータセットのサイズに応じて調整可能である。
• ランダムな拡張選択の不変性を活用することで、異なるトレーニング環境でも一貫した性能を発揮できる。
• 操作が等確率で適用される微分可能でない探索空間を採用することで、勾配フリー最適化を回避できる。

実験結果

リサーチクエスチョン

• RQ1 ターゲットモデルおよびデータセット上で直接学習することで、別個の探索段階を必要とせず、データ拡張ポリシーを効果的に学習できるか？
• RQ2 複雑な探索を要する学習済みポリシーと比較して、単純なランダム選択による拡張が最先端の性能を達成できるか？
• RQ3 データ拡張の正則化強度はモデルおよびデータセットのサイズにどのようにスケーリングされるか？また、動的に調整可能か？
• RQ4 1つの解釈可能なハイパーパrameter（K）が、多様なタスクおよびデータセットにわたり拡張強度を効果的に制御できるか？
• RQ5 探索フリーでランダムな拡張戦略は、AutoAugmentなどの強化学習ベースの手法と比較して、標準ベンチマークで性能を上回るか、同等か？

主な発見

• RandAugmentはImageNetで85.0％のトップ1正答率を達成し、以前の最先端手法を0.6％上回り、標準ベースライン拡張手法を1.0％上回る。
• CIFAR-10、CIFAR-100、SVHNでは、すべての先行学習済み拡張手法を同等または上回る性能を示した。
• COCOオブジェクト検出では、ベースライン拡張手法に対してmAPを1.0–1.3％向上させ、AutoAugmentと0.3％mAP以内の差で近い性能を達成した。
• 別個の探索段階を排除することで、トレーニングの複雑さが低減され、ターゲットモデルおよびデータセット上で直接トレーニングが可能になった。
• ハイパーパrameter Kは正則化強度を解釈可能な形で制御でき、モデルおよびデータセットのサイズに応じた拡張効果の体系的分析が可能になった。
• RandAugmentは、再設定や再トレーニングが不要な状態で、多様なタスクおよびデータセットに対して即座に有効である。