[論文レビュー] No More Pesky Learning Rate Guessing Games.

Leslie N. Smith|arXiv (Cornell University)|Jun 3, 2015

Advanced Neural Network Applications参考文献 26被引用数 131

ひとこと要約

本論文は、学習率を訓練中に上限と下限の間で周期的に変化させることで、自動的に学習率を設定する方法であるサイクル学習率（CLR）を導入する。手動でのハイパーパrameterチューニングを排除することで、CLRは、CIFAR-10、ImageNet、AlexNet、GoogLeNetの各データセットで、広範な学習率探索を伴わずに、近似的に最適な精度をより速く達成する。

ABSTRACT

It is known that the learning rate is the most important hyper-parameter to tune for training deep convolutional neural networks (i.e., a guessing game). This report describes a new method for setting the learning rate, named cyclical learning rates, that eliminates the need to experimentally find the best values and schedule for the learning rates. Instead of setting the learning rate to fixed values, this method lets the learning rate cyclically vary within boundary values. This report shows that training with cyclical learning rates achieves near optimal classification accuracy without tuning and often in many fewer iterations. This report also describes a simple way to estimate reasonable bounds - by linearly increasing the learning rate in one training run of the network for only a few epochs. In addition, cyclical learning rates are demonstrated on training with the CIFAR-10 dataset and the AlexNet and GoogLeNet architectures on the ImageNet dataset. These methods are practical tools for everyone who trains convolutional neural networks.

研究の動機と目的

• 深層CNNの訓練における、手動で行う必要があり時間がかかる学習率のハイパーパrameterチューニングの課題に対処すること。
• 広範な実験を伴わずに、実用的で自動化された学習率の設定手法を開発すること。
• 固定学習率のチューニングなしに、最適または近似的に最適な性能を達成できるように、学習率を周期的に変化させることの有効性を示すこと。
• サイクルスケジューリングに適した学習率の範囲を推定するシンプルで効率的な方法を提供すること。

提案手法

• 学習率を固定するのではなく、訓練中に最小値と最大値の間を周期的に変化させる。
• 訓練イテレーションの間に学習率を三角波状に変化させることで、サイクルスケジュールを実装する。
• 上界の推定のために、数エポックにわたり徐々に増加させる線形ウォームアップ段階を用いる。
• 下界は小さな値に設定され、上界は線形ウォームアップ実験から決定される。
• 本手法は、ImageNetおよびCIFAR-10における標準的なCNNアーキテクチャ（例：AlexNetやGoogLeNet）に適用される。
• サイクル学習率を用いた訓練では、学習率の減衰スケジュールやグリッドサーチの必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 サイクル学習率は、手動でチューニングされた固定学習率と同等またはそれ以上の分類精度を達成できるか？
• RQ2 単純な線形ウォームアップ手順は、サイクルスケジューリングに適した有効な学習率の境界を信頼性を持って推定できるか？
• RQ3 サイクル学習率スケジューリングにより、最適な性能に到達するための訓練イテレーション数が削減されるか？
• RQ4 サイクル学習率は、CIFAR-10やImageNetのような異なるアーキテクチャおよびデータセットに効果的に適用できるか？

主な発見

• サイクル学習率は、学習率の手動チューニングなしに、近似的に最適な分類精度を達成する。
• 本手法により、固定学習率スケジュールと比較して、良い性能がより少ないイテレーションで達成される。
• 数エポック程度の線形ウォームアップランにより、学習率範囲の上界を信頼性を持って推定できる。
• 本アプローチは、AlexNetやGoogLeNetのような多様なアーキテクチャにおいて、CIFAR-10およびImageNetの両データセットで有効である。