[論文レビュー] Statistical Adaptive Stochastic Gradient Methods

Pengchuan Zhang, Hunter Lang+2 more|arXiv (Cornell University)|Feb 25, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、初期学習率の適応的ウォームアップに滑らかな確率的ラインサーチ（SSLS）を組み合わせ、定常性を検出する統計的テスト（SASA+）を用いて自動的に学習率を低下させる、完全に自律的な確率的最適化手法SALSAを提案する。SALSAは、初期学習率や低下後の学習率に対する手動によるハイパーパrameterチューニングを一切必要とせず、複数のディープラーニングタスクで手動チューニングされた最適化手法と同等の性能を達成する。

ABSTRACT

We propose a statistical adaptive procedure called SALSA for automatically scheduling the learning rate (step size) in stochastic gradient methods. SALSA first uses a smoothed stochastic line-search procedure to gradually increase the learning rate, then automatically switches to a statistical method to decrease the learning rate. The line search procedure ``warms up'' the optimization process, reducing the need for expensive trial and error in setting an initial learning rate. The method for decreasing the learning rate is based on a new statistical test for detecting stationarity when using a constant step size. Unlike in prior work, our test applies to a broad class of stochastic gradient algorithms without modification. The combined method is highly robust and autonomous, and it matches the performance of the best hand-tuned learning rate schedules in our experiments on several deep learning tasks.

研究の動機と目的

• 確率的最適化における初期学習率の手動ハイパーパrameterチューニングの必要性を排除すること。
• アルゴリズム固有の修正なしに、確率的勾配法における定常性を検出できる汎用的な統計的テストを構築すること。
• 事前のチューニングなしに収束性と汎化性能を向上させる自律的な学習率スケジューリングフレームワークを設計すること。
• 1つのデフォルト設定で、多様なディープラーニングモデルとデータセットに対して堅牢な学習を可能にすること。

提案手法

• SALSAは、小さな初期値から徐々に学習率を増加させる滑らかな確率的ラインサーチ（SSLS）を用い、不安定さを避けて早期の学習を加速する。
• この手法は、過剰収束を避けるための統計的ラインサーチ手順を通じて、学習率が安定的かつ効果的な値に達したことを検出する。
• SALSAは、勾配ノルムの経験的平均と分散に基づく統計的テストであるSASA+を用いて、一定の学習率下での定常性を検出する。
• SASA+における定常性テストは、SGD、SHB、NAGを含む広範な確率的最適化手法に普遍的に適用可能であり、アルゴリズム固有の変更なしに利用可能である。
• 統計的テストが定常性を検出すると、学習率が固定係数で自動的に低下し、収束性と汎化性能が向上する。
• SSLSによるウォームアップとSASA+による低下を組み合わせたこのアプローチにより、手動でチューニングされた学習率スケジュールが一切不要な完全に自律的な最適化手法が構築される。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム固有の適応なしに、統計的テストが確率的勾配法における定常性を検出可能か？
• RQ2 滑らかな確率的ラインサーチが、手動での初期化を必要とせずに学習率を効果的にウォームアップできるか？
• RQ3 自律的な学習率スケジューリング戦略が、多様なディープラーニングタスクで手動チューニングされたスケジュールと同等またはそれ以上の性能を達成できるか？
• RQ4 SALSAの1つのデフォルト設定が、複数のモデルとデータセットで最先端の性能を達成できるか？

主な発見

• CIFAR-10では、初期学習率を0.01のデフォルト値で使用したSALSAが95%のテスト精度を達成し、手動チューニングされたSHB最適化手法と同等の性能を示した。
• ImageNetでは、SALSAが手動チューニングされたSHB最適化手法の最高テスト精度に達し、小さな初期学習率から出発してもAdam（ウォームアップ付き）を上回った。
• MNISTでは、すべての手法が類似した性能に収束したため、SALSAが凸な設定でも有効であることが確認された。
• Wikitext-2では、検証ベースの早期停止ヒューリスティック（'w/ val'）を用いたSALSAが、手動で検証ベースの学習率低下を施したSGDと同等のテスト性能を達成した。
• SALSAは、初期学習率を設定するための高コストな試行錯誤の必要性を排除し、1つのデフォルト設定からも競争力のある結果を達成した。
• SASA+における統計的定常性テストは、SGD、SHB、NAGの各手法にアルゴリズム固有の修正なしに普遍的に適用可能であることが示され、実用的価値が向上した。