[論文レビュー] Online Hyper-parameter Learning for Auto-Augmentation Strategy

Chen Lin, Minghao Guo+6 more|arXiv (Cornell University)|May 17, 2019

Advanced Neural Network Applications参考文献 35被引用数 9

ひとこと要約

本稿では、データオーグメンテーション方針を、勾配ベース最適化によって同時に最適化される学習可能な確率分布として定式化する、オンラインハイパーパramータ学習による自己増強（OHL-Auto-Aug）の手法を提案する。オフライン探索や再訓練を必要とせず、オンラインかつエンドツーエンドでオーグメンテーション方針を学習可能であり、CIFAR-10ではAuto-Augmentに比べ60倍、ImageNetでは24倍高速な探索を達成するとともに、最先端の精度を同等または上回る。

ABSTRACT

Data augmentation is critical to the success of modern deep learning techniques. In this paper, we propose Online Hyper-parameter Learning for Auto-Augmentation (OHL-Auto-Aug), an economical solution that learns the augmentation policy distribution along with network training. Unlike previous methods on auto-augmentation that search augmentation strategies in an offline manner, our method formulates the augmentation policy as a parameterized probability distribution, thus allowing its parameters to be optimized jointly with network parameters. Our proposed OHL-Auto-Aug eliminates the need of re-training and dramatically reduces the cost of the overall search process, while establishes significantly accuracy improvements over baseline models. On both CIFAR-10 and ImageNet, our method achieves remarkable on search accuracy, 60x faster on CIFAR-10 and 24x faster on ImageNet, while maintaining competitive accuracies.

研究の動機と目的

• オフライン自己増強探索における高い計算コスト（縮小されたデータセット上で数多くの方針を訓練する必要があること）を軽減すること。
• 増強方針探索中に再訓練の必要をなくすために、方針学習をメインの訓練ループに統合すること。
• データサブサンプリングなしで、ImageNetのような大規模データセットに対しても効率的かつスケーラブルな自己増強を実現すること。
• 訓練中にリアルタイムに進化する微分可能ハイパーパramータとして、データ増強方針を最適化すること。

提案手法

• 増強方針をパラメータ化された確率分布として定式化し、そのパラメータを最適化対象のハイパーパramータとして扱う。
• 二段階最適化フレームワークを導入：内側のループではSGDで通常の訓練損失を最小化し、外側のループではREINFORCE勾配を用いて検証精度を最大化する。
• トラジェクトリサンプリングを用いて増強方針パラメータの勾配を推定し、訓練中にオンラインで更新可能にする。
• 各時刻で最も高い性能を示したネットワーク重みを、トラジェクトリサンプル全体にブロードキャストすることで、方針学習の安定化を図る。
• 離散的な増強操作を微分可能で連続的なパrameterizationに変換することで、勾配ベース最適化を可能にする。
• ネットワークと増強方針パラメータを、単一で統合された訓練プロセス内でエンドツーエンドに同時に訓練する。

実験結果

リサーチクエスチョン

• RQ1 モデル訓練中にオンラインで増強方針を学習可能であり、オフライン探索の必要がなくなるか？
• RQ2 ネットワーク重みと併せて増強方針パラメータを最適化することで、最終的なモデル精度と訓練効率にどのような影響を与えるか？
• RQ3 異なる学習率とトラジェクトリサンプル数が、方針の収束と性能に与える影響は何か？
• RQ4 提案手法は、データサブサンプリングなしでImageNetのような大規模データセットにおいて、最先端の精度を達成できるか？

主な発見

• OHL-Auto-Augは、CIFAR-10でAuto-Augmentに比べ60倍、ImageNetでは24倍高速な探索を達成し、同等またはより高い精度を達成する。
• 本手法により、データの縮小なしに全データセットで訓練可能となり、サブサンプリングに起因する性能バイアスを回避できる。
• 増強方針分布は訓練中に収束し、データセットの特性に応じて一部の操作が無視され、他の操作が高い確率を獲得する。
• 学習率 $\eta_{\theta} = 5 \times 10^{-2}$ が収束速度と性能のバランスにおいて最良の結果をもたらす。
• 8個のトラジェクトリサンプルを使用することで、ほぼ最適な性能が得られ、それ以上に追加で得られる利益は最小限に抑えられ、コストと精度のバランスが取れる。
• 学習された増強方針はデータセットに応じて異なる—例えばCIFAR-10では「Color Invert」が無視されるが、ImageNetでは維持される—これにより適応性が示される。