[論文レビュー] Learning-Rate-Free Learning by D-Adaptation

Aaron Defazio, Konstantin Mishchenko|arXiv (Cornell University)|Jan 18, 2023

Machine Learning and Algorithms被引用数 5

ひとこと要約

この論文では、初期解との距離の下界を維持することで、確率的勾配降下法（SGD）およびAdamの変種に対する学習率を自動的に適応する、ハイパーパrameterフリーな最適化手法D-Adaptationを提案する。この手法は、ラインサーチや追加の勾配評価を必要とせず、凸リプシッツ関数に対して最適なO(1/√n)収束率を達成し、視覚、自然言語処理、レコメンデーションシステムにおける多様な機械学習タスクで、手動で調整された学習率と同等の性能を発揮する。

ABSTRACT

D-Adaptation is an approach to automatically setting the learning rate which asymptotically achieves the optimal rate of convergence for minimizing convex Lipschitz functions, with no back-tracking or line searches, and no additional function value or gradient evaluations per step. Our approach is the first hyper-parameter free method for this class without additional multiplicative log factors in the convergence rate. We present extensive experiments for SGD and Adam variants of our method, where the method automatically matches hand-tuned learning rates across more than a dozen diverse machine learning problems, including large-scale vision and language problems. An open-source implementation is available.

研究の動機と目的

• 凸リプシッツ関数に対する確率的最適化において、手動による学習率チューニングの必要性を排除すること。
• 追加の関数評価やバックトラッキングを必要とせず、最適なO(1/√n)収束率を達成する手法を開発すること。
• 初期距離の知識を必要とするAdaGrad-Normのような既存の適応的手法の代替として、ハイパーパrameterフリーな手法を提供すること。
• 大規模な視覚および言語モデルを含む多様な機械学習問題において、自動的かつ頑健な性能を実現すること。
• 経験的勾配を用いて最適解への距離を動的に制限する理論的根拠に基づく適応的学習率戦略を導出すること。

提案手法

• D-Adaptationは、勾配ノルムの逆数の推定値に基づく適応的ステップサイズを用いた重み付き双対平均法を用いる。
• 累積勾配とステップサイズを用いた新しい境界を介して、初期距離D = ||x₀ − x*||の下界ˆdkを維持する。
• 式ˆdk+1 = (γk+1||sk+1||² − Σγi d²i ||gi||²)/(2||sk+1||) を用いて、下界ˆdk+1を更新する。ここでsk+1は累積勾配である。
• よりタイトな推定値ˆdk+1が得られた場合に、下界dkを動的に増加させることで、漸近的に最適レートへの収束を保証する。
• Adamの変種では、勾配の指数移動平均（EMA）を適応させ、EMAの二乗勾配に基づく正規化ステップサイズを用いる。
• 観測された勾配と累積和にのみ依存することで、ラインサーチや追加の勾配評価を回避する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterフリーな最適化手法は、ラインサーチや追加の関数評価を伴わず、凸リプシッツ関数に対して最適なO(1/√n)収束率を達成できるか？
• RQ2 観測された勾配とステップサイズのみを用いて、解への初期距離の下界をどのように適応的に推定できるか？
• RQ3 D-Adaptationは、視覚、自然言語処理、レコメンデーションシステムを含む多様な機械学習タスクで、手動で調整された学習率と同等の性能を発揮するか？
• RQ4 D-Adaptationの理論的収束保証は何か？ また、AdaGrad-Normのような既存の適応的手法と比較してどうか？
• RQ5 この手法はAdamの変種に拡張可能か？ その際、理論的収束性と実験的性能を維持できるか？

主な発見

• D-Adaptationは、追加のlog要因を伴わず、凸リプシッツ関数に対して最適なO(DG/√n)収束率を達成し、最悪ケースの下界と一致する。
• 漸近的設定では、O(DG/√n + 1)の収束率に収束し、経験的勾配追跡によりDの下界が時間とともに改善される。
• 非漸近的設定では、O(DG log₂⁺(D/d₀)/√n)の収束率が保証され、固定されたd₀を用いるベースラインの部分勾配法よりも顕著に優れる。
• 実験では、視覚および言語モデルを含む十数種の多様な機械学習問題において、D-Adaptationは手動で調整された学習率と同等またはそれを上回る性能を発揮した。
• D-AdaptationのAdamバージョンは、手動による学習率チューニングを必要とせず、タスク間で頑健な性能を維持した。
• 理論的分析により、Dの下界が漸近的にD/(1+√3)で下から抑えられ、最適レートへの収束が保証されることが示された。