[論文レビュー] Stochastic Gradient Descent: Going As Fast As Possible But Not Faster

Alice Schoenauer Sebag, Marc Schoenauer+1 more|arXiv (Cornell University)|Sep 5, 2017

Stochastic Gradient Optimization Techniques参考文献 28被引用数 10

ひとこと要約

本稿では、確率的勾配降下法（SGD）のための新しい自己適応的学習率手法SALeRAを提案する。SALeRAは、勾配方向が一致する場合に学習を加速する統計的検定と、Page-Hinkleyの変化点検出法を用いて深刻な訓練失敗を検出し回復する2つの検定を動的に適用することで、学習率を調整する。SALeRAは、MNISTおよびCIFAR-10ベンチマークで、ベースライン手法と比較して失敗率を40%低減しながら、最先端の性能を同等または上回る。

ABSTRACT

When applied to training deep neural networks, stochastic gradient descent (SGD) often incurs steady progression phases, interrupted by catastrophic episodes in which loss and gradient norm explode. A possible mitigation of such events is to slow down the learning process. This paper presents a novel approach to control the SGD learning rate, that uses two statistical tests. The first one, aimed at fast learning, compares the momentum of the normalized gradient vectors to that of random unit vectors and accordingly gracefully increases or decreases the learning rate. The second one is a change point detection test, aimed at the detection of catastrophic learning episodes; upon its triggering the learning rate is instantly halved. Both abilities of speeding up and slowing down the learning rate allows the proposed approach, called SALeRA, to learn as fast as possible but not faster. Experiments on standard benchmarks show that SALeRA performs well in practice, and compares favorably to the state of the art.

研究の動機と目的

• SGDにおける損失関数や勾配ノルムの急激な爆発（catastrophic explosions）が引き起こす、深層ニューラルネットワークの訓練の不安定化という課題に対処すること。
• このような深刻な状態を引き起こさずに高速収束を実現できる学習率の適応戦略を開発すること。
• リアルタイムで訓練失敗を検出し回復する、原理的かつ中立的な手法を提供すること。
• 訓練を不必要に遅くする手動の学習率スケジューリングに依存するのを減らすこと。
• MNISTやCIFAR-10といった標準ベンチマークで、ハイパーパrameterへの感受性を増さずに、耐障害性と性能を向上させること。

提案手法

• SALeRAは、正規化された勾配ベクトルのモーメントとランダムな単位ベクトルのモーメントを比較するALeRA手順を用い、学習率を増加または減少させるかを決定する。
• 勾配方向の一致度がランダムなレベルを上回る場合、学習率を増加する。それ以外の場合は減少させる。
• ミニバッチ損失曲線をモニタリングするPage-Hinkley（PH）変化点検出法が、深刻な異常状態を示す急激なシフトを検出する。
• PH検定が作動すると、直ちに学習率を半分にし、モデルを以前の状態に復元することで、迅速な回復が可能になる。
• 損失関数の形状に関する事前知識が不要であるため、モデルやデータ分布に依存しない。
• 本手法は、既存の最適化手法（例：Adam）と互換性があり、最小限のハイパーパrameterで調整可能であるため、即挿し可能である。

実験結果

リサーチクエスチョン

• RQ1 統計的検定は、SGDの深刻な訓練失敗を、それが恒久的な損傷を引き起こす前に検出できるか？
• RQ2 勾配方向の相関性は、安全に学習率を増加させるための信頼できるシグナルとして利用できるか？
• RQ3 失敗検出後に直ちに学習率を半分にする反応型回復メカニズムは、訓練の耐障害性を向上させるか？
• RQ4 自己適応的加速と反応型回復の組み合わせは、Adam や NAG といった既存の自己適応的最適化手法を上回る性能を発揮できるか？
• RQ5 Page-Hinkleyの閾値の選択が、学習速度と失敗回避のバランスに与える影響は何か？

主な発見

• SALeRAは、テスト誤差が20エポック後に80%を超えると定義される訓練失敗率を、ベンチマークで18.3%（ALeRA）から11.7%に低減した。
• 本手法は、元々失敗するはずの約40%の訓練ランを効果的に回復させ、深刻な異常状態に対する高い耐性を示した。
• Page-Hinkleyの閾値を初期損失値の10%に設定すると、学習の積極性と失敗防止のバランスが最適になる。
• λ=100またはλ=1000の閾値設定は、性能を著しく低下させ、過敏すぎる検出が学習速度に悪影響を及えることが示された。
• SALeRAの最適なハイパーパrameterはα = 0.01およびC = 3×10⁻⁶であり、Adamの最適なβ1とβ2の値はデフォルト設定（0.9と0.9999）とは異なり、それぞれ0.8と0.9999の値であった。
• SALeRAは、最小限のハイパーパrameterチューニングでも、Adam や NAG といった最先端の最適化手法と同等またはそれ以上の性能を達成した。