[論文レビュー] Training Deep Networks without Learning Rates Through Coin Betting

Francesco Orabona, Tatiana Tommasi|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 29被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワークの学習に向けた、学習率フリーの確率的最適化アルゴリズムであるCOCOB（Continuous Coin Betting）を提案する。勾配降下法をコインの賭け合いとして再定式化することにより、COCOBは手動での学習率チューニングを必要とせず、動的かつ適応的なステップサイズを決定し、CIFAR-10 や PTB 語彙モデル化の複数のベンチマークにおいて、Adam や Adagrad などの最先端手法と同等またはそれ以上の性能を達成する。

ABSTRACT

Deep learning methods achieve state-of-the-art performance in many application scenarios. Yet, these methods require a significant amount of hyperparameters tuning in order to achieve the best results. In particular, tuning the learning rates in the stochastic optimization process is still one of the main bottlenecks. In this paper, we propose a new stochastic gradient descent procedure for deep networks that does not require any learning rate setting. Contrary to previous methods, we do not adapt the learning rates nor we make use of the assumed curvature of the objective function. Instead, we reduce the optimization process to a game of betting on a coin and propose a learning-rate-free optimal algorithm for this scenario. Theoretical convergence is proven for convex and quasi-convex functions and empirical evidence shows the advantage of our algorithm over popular stochastic gradient algorithms.

研究の動機と目的

• 深層学習におけるハイパーパrameterチューニング、特に確率的勾配降下法における学習率の手動選択という、長年の課題に取り組む。
• 最適化プロセスをゲーム理論的コイン賭け問題として再定式化することで、学習率スケジューリングや適応の必要性を排除する。
• 凸関数および準凸関数に対して最適な収束レートを達成する理論的裏付けのある、データ依存的な最適化戦略を開発する。
• 学習率フリーのアプローチが、現実の深層学習タスクにおける人気のある適応的最適化手法と同等またはそれ以上の性能を発揮できることを実証する。
• アルゴリズムの収束性に対する理論的基盤を提供するとともに、多様なアーキテクチャとデータセットにおいてその頑健性を経験的に検証する。

提案手法

• 目的関数の勾配を逐次的に決定するゲームとしての確率的勾配降下法を再定式化し、時間経過とともに累積的富を最大化することを目的とするコイン賭けのゲームに置き換える。
• 曲率の仮定に依存しない、データに依存する新たな賭け戦略を導入し、勾配の大きさに基づいてステップサイズを動的に調整する。
• コイン賭けゲームの最適解としてCOBOBアルゴリズムを導出し、凸関数および準凸関数に対して最適なレグルレーションバウンドを保証する。
• 賭けの割合をパラメータ空間における更新量と解釈することで、コイン賭けフレームワークを勾配降下法に再統合する。
• ミニバッチ正規化と勾配クリッピングを用いて、深層ニューラルネットワークに特化したCOBOBの変種を実装し、学習の安定性を向上させる。
• 絶対値ではなく相対的な勾配の大きさに依存することで、スケール不変性と頑健性を確保し、学習率ハイパーパrameterの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的原則を用いて、確率的勾配降下法を学習率フリーの最適化プロセスに再定式化できるか？
• RQ2 データ依存的なコイン賭け戦略は、学習率チューニングなしに凸関数および準凸関数に対して最適な収束レートを達成できるか？
• RQ3 提案されたCOBOBアルゴリズムの性能は、最先端の適応的最適化手法（例：Adam、Adagrad、AdaDelta）と比較して、深層学習ベンチマークでどのように異なるか？
• RQ4 学習率ハイパーパrameterの欠如が、現実の深層学習タスクにおける一般化性能およびテスト性能に与える影響はどの程度か？
• RQ5 コイン賭けフレームワークは、凸でない深層学習の目的関数に対しても拡張可能であり、理論的保証と経験的有効性を維持できるか？

主な発見

• CIFAR-10 において、COBOBはAdam、Adagrad、AdaDelta と同等またはそれ以上の学習性能を発揮し、テスト誤差の差はわずか約0.008にとどまる。
• PTB 語彙モデル化タスクでは、COBOBは訓練コストと一般化性能の面でAdam や Adagrad と同等またはそれを上回り、多数の競合他と比較してより低いPerplexityを達成する。
• 過学習に対して頑健であることが示され、COBOB と Adagrad は収束後も最も安定したテストPerplexity曲線を示す一方、他の手法は収束後にPerplexityが上昇する傾向を示す。
• 経験的結果から、学習率を細かくチューニングした場合、人気のある最適化手法間の性能差が縮小することが示され、共通の挙動を示している可能性がある。
• 理論的分析により、COBOBは凸関数およびτ-弱く準凸関数に対して最適な収束レートを達成することが証明され、その経験的成果の強固な理論的基盤が確立される。
• 学習率ハイパーパラメータが存在しないことにより性能が損なわれることなく、COBOBは多様なアーキテクチャとデータセットにおいて安定性とスケーラビリティを維持する。