[論文レビュー] Learning Optimal Data Augmentation Policies via Bayesian Optimization for Image Classification Tasks

Chunxu Zhang, Jiaxu Cui+1 more|arXiv (Cornell University)|May 6, 2019

Advanced Neural Network Applications参考文献 46被引用数 4

ひとこと要約

本稿では、画像分類における最適なデータ拡張（DA）ポリシーを最小限の計算コストで自動的に学習するためのベイジアン最適化ベースの手法BO-Augを提案する。構造的なポリシー空間をベイジアン最適化を用いて効率的に探索することで、BO-AugはCIFAR-10、CIFAR-100、SVHNで最先端またはほぼ最先端の精度を達成した。実評価はたった800回で実施され、従来手法と比べて顕著に少ない。また、モデルやデータセット間での高い汎用性を示した。

ABSTRACT

In recent years, deep learning has achieved remarkable achievements in many fields, including computer vision, natural language processing, speech recognition and others. Adequate training data is the key to ensure the effectiveness of the deep models. However, obtaining valid data requires a lot of time and labor resources. Data augmentation (DA) is an effective alternative approach, which can generate new labeled data based on existing data using label-preserving transformations. Although we can benefit a lot from DA, designing appropriate DA policies requires a lot of expert experience and time consumption, and the evaluation of searching the optimal policies is costly. So we raise a new question in this paper: how to achieve automated data augmentation at as low cost as possible? We propose a method named BO-Aug for automating the process by finding the optimal DA policies using the Bayesian optimization approach. Our method can find the optimal policies at a relatively low search cost, and the searched policies based on a specific dataset are transferable across different neural network architectures or even different datasets. We validate the BO-Aug on three widely used image classification datasets, including CIFAR-10, CIFAR-100 and SVHN. Experimental results show that the proposed method can achieve state-of-the-art or near advanced classification accuracy. Code to reproduce our experiments is available at https://github.com/zhangxiaozao/BO-Aug.

研究の動機と目的

• ディープラーニングにおける効果的なデータ拡張ポリシーを手動で設計するための高コストと専門知識の必要性に対処すること。
• 画像分類における最適なDAポリシーを探索するための高価な実評価の回数を削減すること。
• 異なるニューラルネットワークアーキテクチャやデータセットで再利用可能な汎用的なDAポリシーを学習する手法を開発すること。
• 最小限の探索コストで、最先端またはほぼ最先端の分類精度を達成すること。

提案手法

• 本手法は、3つのサブポリシーから成るDAポリシーの探索空間を定義する。各サブポリシーは、ずれや回転などの2つの画像変換を含み、学習可能な確率および強度パラメータを持つ。
• 探索アルゴリズムとしてベイジアン最適化（BO）を用い、ポリシー空間を効率的に探索し、有望なポリシーを選択して評価する。
• 各候補ポリシーを用いてバリデーションセットでフィードバックモデル（例：Wide ResNet）を訓練し、得られた分類誤差をBOのサーロー・モデルの更新に用いる。
• 性能フィードバックに基づいて反復的にポリシー選択を最適化することで、必要な実評価回数を最小限に抑える。
• 100イテレーション後にBOで最適化された構成から最終的な最適ポリシーが導出され、収束は通常100回未満の評価で達成される。
• あるデータセット（例：Reduced CIFAR-10）で学習したポリシーは、CIFAR-100 や SVHN などの他のモデルやデータセットに対しても、汎用性の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 従来手法と比較して、実評価回数を著しく削減できるように、ベイジアン最適化を最適なデータ拡張ポリシーの探索に効果的に適用できるか？
• RQ2 あるデータセットで発見された最適なデータ拡張ポリシーは、再訓練なしに異なるニューラルネットワークアーキテクチャに汎用可能か？
• RQ3 提案手法は、標準的な画像分類ベンチマークで最先端またはほぼ最先端の分類精度を達成できるか？
• RQ4 精度と探索コストの観点から、従来の自動データ拡張手法と比較して、学習済みポリシーの性能はどのように異なるか？

主な発見

• BO-Augは、CIFAR-10、CIFAR-100、SVHNでたった800回の実評価で、最先端またはほぼ最先端の分類精度を達成した。これは、AutoAugmentが要請する15,000回の評価の6％未満に相当する。
• 削減されたデータセット（例：CIFAR-10の10％）においても、BO-Augの性能は最先端の半教師付き学習手法と同等であり、データが限られた状況下でも高い有効性を示した。
• あるデータセット（例：Reduced CIFAR-10）で学習した最適なデータ拡張ポリシーは、広く一般化され、Wide ResNet や Shake-Shake ネットワークなど多様なアーキテクチャにおいて、同じデータセットやCIFAR-100などの異なるデータセットでも性能向上を示した。
• BO探索の収束は通常100イテレーション未満で達成され、最初の20〜30回の評価で分類誤差が著しく低下した。
• ポリシー探索の総トレーニング時間を、AutoAugmentの時間の6％未満にまで短縮した。BOアルゴリズム自体に起因するオーバーヘッドは無視できるほど小さい。
• アーキテクチャやデータセット間でのポリシーの汎用性は、学習済みポリシーが元の学習環境を超えて適用可能な汎用的なデータ拡張戦略を捉えていることを示唆している。