[論文レビュー] AutoLRS: Automatic Learning-Rate Schedule by Bayesian Optimization on the Fly

Yuchen Jin, Tianyi Zhou+5 more|arXiv (Cornell University)|May 22, 2021

Machine Learning and Data Classification参考文献 51被引用数 5

ひとこと要約

AutoLRS は、ベイジアン最適化（BO）と軽量な指数型損失予測モデルを組み合わせることで、人為的介入なしに検証損失を最小化する、自動的かつリアルタイムな最適化学習率スケジューリング手法を提案する。各段階の一部のみを訓練して全段階の性能を予測することで、人為的に調整されたスケジュールよりも 1.22× から 1.5× の高速な収束を達成し、SOTA（最先端）手法よりも 1.31× の高速化を実現した。この成果は、ResNet-50、Transformer、BERT モデルの全範囲で確認された。

ABSTRACT

The learning rate (LR) schedule is one of the most important hyper-parameters needing careful tuning in training DNNs. However, it is also one of the least automated parts of machine learning systems and usually costs significant manual effort and computing. Though there are pre-defined LR schedules and optimizers with adaptive LR, they introduce new hyperparameters that need to be tuned separately for different tasks/datasets. In this paper, we consider the question: Can we automatically tune the LR over the course of training without human involvement? We propose an efficient method, AutoLRS, which automatically optimizes the LR for each training stage by modeling training dynamics. AutoLRS aims to find an LR applied to every $τ$ steps that minimizes the resulted validation loss. We solve this black-box optimization on the fly by Bayesian optimization (BO). However, collecting training instances for BO requires a system to evaluate each LR queried by BO's acquisition function for $τ$ steps, which is prohibitively expensive in practice. Instead, we apply each candidate LR for only $τ'\llτ$ steps and train an exponential model to predict the validation loss after $τ$ steps. This mutual-training process between BO and the loss-prediction model allows us to limit the training steps invested in the BO search. We demonstrate the advantages and the generality of AutoLRS through extensive experiments of training DNNs for tasks from diverse domains using different optimizers. The LR schedules auto-generated by AutoLRS lead to a speedup of $1.22 imes$, $1.43 imes$, and $1.5 imes$ when training ResNet-50, Transformer, and BERT, respectively, compared to the LR schedules in their original papers, and an average speedup of $1.31 imes$ over state-of-the-art heavily-tuned LR schedules.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）トレーニングにおける重要なが、手作業で調整が煩雑なハイパーパrameterである学習率（LR）スケジューリングの自動化不足に取り組む。
• 事前に定義された LR スケジュールや適応的最適化手法の限界を克服する。これらは新たなハイパーパラメータを導入し、タスク固有の調整を要する。
• 人為的監視なしにトレーニング中に最適な LR 値を自動的に特定し、直接的に検証損失を最小化する手法を開発する。
• ベイジアン最適化（BO）の計算コストを削減するため、長期的な検証損失を予測するための短期間トレーニングと予測モデルを用いる。
• 固定されたスケジュール形式やタスク固有の仮定に依存しないようにすることで、最適化手法、データセット、タスクの多様な環境に広く適合可能にする。

提案手法

• 検証損失を学習率のブラックボックス関数とみなしてベイジアン最適化（BO）を適用し、期待改善を最小化するように逐次的に LR 値を選択する。
• 各候補 LR を全トレーニング段階長 τ まで訓練する代わりに、τ′ ≪ τ ステップのみで訓練することでコストを削減する。
• 短期間の検証損失に基づいて、指数時系列予測モデルを訓練し、各候補 LR の全 τ ステップにおける検証損失を予測する。
• 予測された検証損失を用いて BO の獲得関数を最適化し、最小限の全トレーニング実行で LR 空間を効率的に探索可能にする。
• 軽量な BO 事後分布と小さな予測モデルを維持することで、メモリおよび計算コストの増加を最小限に抑える。
• BO と予測モデルの相互学習を可能にする：BO が新たな LR を問い合わせ、その結果得られる短期間データで予測モデルを学習させ、将来の BO 決定を改善する。

実験結果

リサーチクエスチョン

• RQ1 人為的介入や事前定義されたスケジュール形式に依存せずに、DNN トレーニング中に自動的に学習率をチューニングできるか？
• RQ2 全段階評価ではなく、短期間トレーニングと損失予測を用いることで、LR スケジューリングにおけるベイジアン最適化の計算コストを低減できるか？
• RQ3 提案手法 AutoLRS は、手動チューニングまたは最先端の LR スケジュールよりも高速な収束とより優れた一般化性能を達成できるか？
• RQ4 AutoLRS は、多様なモデル（例：ResNet-50、Transformer、BERT）およびデータセット（例：ImageNet、CIFAR-10、CIFAR-100）に対してどれほど頑健か？
• RQ5 AutoLRS フレームワーク内で BO をランダム探索やグリッド探索に置き換えた場合の影響は何か？性能および効率にどのような影響を与えるか？

主な発見

• ImageNet 上の ResNet-50 では、元の手動チューニング学習率スケジュールと比較して、AutoLRS は 1.22× の高速化を達成した。
• Transformer モデルでは、元のスケジュールと比較して、トレーニング時間を 1.43× 減少させ、系列モデルにおいても優れた性能を示した。
• BERT では、元の論文の学習率スケジュールと比較して、AutoLRS は 1.5× の高速化を達成し、大規模 NLP モデルにおいても有効であることが示された。
• 全評価対象モデルにおいて、AutoLRS は、SOTA とされる高度にチューニングされた学習率スケジュールよりも平均で 1.31× の高速化を実現した。
• AutoLRS で BO をランダム探索やグリッド探索に置き換えると、著しく性能が低下し、収束が遅く、トップ1精度も低下する結果となった。これは、知的な探索の重要性を裏付けた。
• τ′ = τ/10 ステップで学習した指数損失予測モデルは、全 τ ステップの検証損失を高精度に予測でき、最小限のトレーニングオーバーヘッドで効果的な BO を可能にした。