[論文レビュー] Meta Approach to Data Augmentation Optimization

Ryuichiro Hataya, Jan Zdenek+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 28被引用数 6

ひとこと要約

この論文では、ネウマン級数を用いた暗黙的勾配近似により、勾配に基づく方法であるMADAOを提案する。MADAOは、プロキシタスクや探索空間の縮小を必要とせず、ImageNetにおいて直接的かつスケーラブルに最適化を実行できる。MADAOは、ImageNetや細分化データセットを含む複数の画像分類ベンチマークで最先端の性能を達成し、AutoAugment や RandAugment といった先行手法よりも一貫した改善を示している。

ABSTRACT

Data augmentation policies drastically improve the performance of image recognition tasks, especially when the policies are optimized for the target data and tasks. In this paper, we propose to optimize image recognition models and data augmentation policies simultaneously to improve the performance using gradient descent. Unlike prior methods, our approach avoids using proxy tasks or reducing search space, and can directly improve the validation performance. Our method achieves efficient and scalable training by approximating the gradient of policies by implicit gradient with Neumann series approximation. We demonstrate that our approach can improve the performance of various image classification tasks, including ImageNet classification and fine-grained recognition, without using dataset-specific hyperparameter tuning.

研究の動機と目的

• プロキシタスクや探索空間の縮小に依存する既存のデータ拡張最適化手法の限界を解消すること。
• モデル重みと拡張ポリシーを勾配降下を用いて直接的・エンドツーエンドで最適化できること。
• ImageNetのような大規模データセットに対しても、計算コストが著しく増大することなく二段階最適化をスケーラブルに拡張できること。
• 細分化分類や自己教師あり学習を含む多様な画像認識タスクにおける一般化性能と性能の向上を実現すること。

提案手法

• MADAOは、モデル重みと拡張ポリシーのパラメータを同時に最適化する二段階最適化問題としてデータ拡張最適化を定式化する。
• 内側の最適化ループを逆伝播する必要がなくなるように、ヘッセ行列の逆行列を計算する必要を回避するため、暗黙的勾配近似を用いる。
• バリデーション損失の拡張ポリシーのパラメータに関する勾配を効率的に推定するために、ネウマン級数近似を適用する。
• 計算およびメモリのオーバーヘッドが最小限であるため、標準的なトレーニングパイプラインにスムーズに統合可能である。
• 近似された暗黙的勾配を用いて勾配降下によりポリシーを更新し、バリデーション性能を直接最適化する。
• プロキシタスクや探索空間の縮小を回避することで、拡張空間の完全な探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 プロキシタスクや探索空間の縮小に依存せずに、深層学習モデルとデータ拡張ポリシーを統合的に最適化できるか？
• RQ2 二段階データ拡張最適化における内側の最適化ループを効率的に勾配計算できるか？
• RQ3 ネウマン級数を用いた暗黙的勾配近似により、ImageNetのような大規模データセットでもスケーラブルな学習が可能か？
• RQ4 統合的最適化により、細分化データセットを含む多様な画像分類ベンチマークで優れた性能が得られるか？
• RQ5 MADAOは、データセット固有のチューニングなしに自己教師あり学習設定でも性能を向上させられるか？

主な発見

• CIFAR-10では、WideResNet-28-2を用いてテスト誤差率4.6%を達成し、ベースライン（4.8%）およびAutoAugment（4.7%）を上回った。
• CIFAR-100では、WideResNet-28-2を用いて誤差率23.9%に低下させ、標準ベースラインの24.8%を下回った。
• SVHNでは、テスト誤差率2.5%を達成し、RandAugment（2.6%）を上回り、ベースライン（2.9%）をも上回った。
• ImageNetでは、教師あり学習下でResNet-50を用いてトップ1精度23.0%を達成し、標準ベースライン（23.7%）およびRandAugment（22.5%）を上回った。
• 自己教師あり学習では、ImageNetでトップ1誤差率39.6%を達成し、RandAugment（39.6%）と同等で、標準ベースライン（42.1%）を上回った。
• 細分化データセットでは、Petデータセットで15.0%から12.5%にまで誤差率を低下させ、RandAugmentよりも最大3.0ポイントの改善を達成した。