[論文レビュー] Using Statistics to Automate Stochastic Optimization

Hunter Lang, Pengchuan Zhang+1 more|arXiv (Cornell University)|Sep 21, 2019

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

この論文では、統計的仮説検定を用いて、勾配降下法にモーメンタムを組み合わせた確率的勾配降下法（SGM）が定常分布に達したかどうかを検出する自動化手法である統計的適応的確率的近似（SASA）を提案する。SASAは、デフォルトのハイパーパrameterのみを用いて、複数のディープラーニングタスクで手動で最適化された学習率スケジューリングと同等またはそれ以上の性能を達成し、頑健性を向上させるとともに、手動によるチューニングを削減する。

ABSTRACT

Despite the development of numerous adaptive optimizers, tuning the learning rate of stochastic gradient methods remains a major roadblock to obtaining good practical performance in machine learning. Rather than changing the learning rate at each iteration, we propose an approach that automates the most common hand-tuning heuristic: use a constant learning rate until "progress stops," then drop. We design an explicit statistical test that determines when the dynamics of stochastic gradient descent reach a stationary distribution. This test can be performed easily during training, and when it fires, we decrease the learning rate by a constant multiplicative factor. Our experiments on several deep learning tasks demonstrate that this statistical adaptive stochastic approximation (SASA) method can automatically find good learning rate schedules and match the performance of hand-tuned methods using default settings of its parameters. The statistical testing helps to control the variance of this procedure and improves its robustness.

研究の動機と目的

• ディープラーニングモデルにおける最適化の分野で長く続く、手動による学習率チューニングの課題に対処すること。
• 固定または減少する学習率スケジュールの限界を克服し、しばしばヒューリスティックな「一定値でカット」戦略に劣る性能を示す場合があること。
• 訓練の進捗が止まったと判断される瞬間を検出する、自動化され、統計的に根拠のある手法を開発すること。
• ヒューリスティックなトリガーを正式な統計的検定に置き換えることで、ハイパーパrameter感度のばらつきを低減し、頑健性を向上させること。
• タスク固有のチューニングを必要とせず、熟練者が最適化したスケジュールと同等またはそれ以上の性能を達成する自動学習率適応を実現すること。

提案手法

• SASAは、M回の反復を固定長のフェーズで行い、勾配とモーメンタムベクトルの統計を収集するフレームワークを提案する。
• SGMダイナミクスのエルゴドリシティに基づく統計的検定を用い、プロセスが定常分布に達したかどうかを検出する。
• Yaida (2018) が導出した重要な定常条件 E[⟨x, g⟩] ≈ (α/2) * ((1+β)/(1−β)) * E[⟨d, d⟩] を用い、最小限のオーバーヘッドで訓練履歴から推定可能である。
• 定常条件の左辺と右辺の正規化された差分に対する仮説検定を実行し、定常性を検出する。
• 非定常性の帰無仮説が棄却された場合、学習率を乗算的に減少させる（α ← ζα）トリガーを発動する。
• テスト統計量のローリング平均を用いることで、訓練中に誤検出を低減し、安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 訓練中にSGMダイナミクスが定常分布に達したかどうかを統計的検定で検出できるか？
• RQ2 定常性検出に基づく自動学習率減少が、手動チューニングまたはヒューリスティックなスケジュールを上回る性能を示せるか？
• RQ3 異なるアーキテクチャやデータ分布を持つ多様なディープラーニングタスクにおいて、提案手法はどれほど頑健か？
• RQ4 検証損失や手動チューニングを一切必要とせず、進行と停滞を信頼性高く区別できるか？
• RQ5 統計的検定の使用により、ヒューリスティックな学習率スケジューリングと比較してばらつきが低減され、一貫性が向上するか？

主な発見

• SASAは、検証損失にアクセスせずに、訓練統計のみを用いてSGMダイナミクスの定常性を効果的に検出でき、自動学習率減少を可能にする。
• ResNet-18を用いたCIFAR-10では、SASAはデフォルトハイパーパrameterのみで、手動チューニングされたSGM-hand法（94.2%）と同等のテスト精度を達成した。
• Adamや減少するステップサイズを用いたSGMと同等の性能を達成したが、顕著にハイパーパramータ感度が低減された。
• 統計的検定により頑健性が向上：テスト統計量の高い相関性のおかげで、逐次的検定であっても誤発見率が著しく上昇しなかった。
• Yaida (2018) に依拠する定常条件は、実験で急速にゼロに収束することが確認され、リアルタイム検出に信頼性があることが示された。
• 勾配の再利用によりテスト統計量の計算がなされたため、SASAは標準的なSGMに比べて計算量が33%程度しか増加しなかった。