[論文レビュー] ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient

Çaǧlar Gülçehre, Moczulski, Marcin+1 more|arXiv (Cornell University)|Dec 23, 2014

Stochastic Gradient Optimization Techniques参考文献 16被引用数 12

ひとこと要約

ADASECANT は、分散低減およびブロック正規化された勾配統計を用いて勾配方向に曲率を推定する、確率的勾配最適化のための頑健な適応的学習率アルゴリズムである。MNIST における Maxout ネットワークにおいて、手動での学習率チューニングを必要とせず、収束が速く、一般化性能が向上し、Adagrad や RMSProp や SGD with momentum よりも優れている。

ABSTRACT

Stochastic gradient algorithms have been the main focus of large-scale learning problems and they led to important successes in machine learning. The convergence of SGD depends on the careful choice of learning rate and the amount of the noise in stochastic estimates of the gradients. In this paper, we propose a new adaptive learning rate algorithm, which utilizes curvature information for automatically tuning the learning rates. The information about the element-wise curvature of the loss function is estimated from the local statistics of the stochastic first order gradients. We further propose a new variance reduction technique to speed up the convergence. In our preliminary experiments with deep neural networks, we obtained better performance compared to the popular stochastic gradient algorithms.

研究の動機と目的

• 確率的勾配最適化におけるハイパーパramータチューニング、特に学習率の選定の負担を軽減すること。
• 確率的勾配からの曲率情報を利用した収束性の向上を図る適応的学習率手法の開発。
• ノイズの多い確率的設定での安定性とパフォーマンスを向上させる分散低減技術の導入。
• ブロック正規化された勾配を用いることで、入力スケーリングやネットワークの深さに対して頑健なスケール不変の最適化アルゴリズムの構築。

提案手法

• ADASECANT は、勾配の変化の差分を用いた有限差分により、勾配方向に沿った曲率近似を用いて、パラメータごとの適応的学習率を推定する。
• ノイズの制御と学習の安定化のため、補正パラメータ γi をしきい値処理することで分散低減機構を適用する。
• 重み行列やバイアスごとにブロック単位で勾配を正規化することで、スケール不変性を達成し、学習の安定性を向上させる。
• 累積勾配ノルムに 1 の下限を設けた修正 Adagrad の変種を組み込み、ノイズの多い適応的ステップサイズでも収束を保証する。
• 外れ値検出時に時間定数 τi を 2.2 に再設定することで、勾配ノイズに対して高い頑健性を実現する。
• 根平均平方（RMS）統計を用いて勾配の分散を適応的に低減し、曲率推定の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高いノイズを伴う確率的設定において、勾配方向に沿った曲率情報は信頼性を持って推定可能か？
• RQ2 分散低減を施した適応的学習率手法は、Adagrad や RMSProp といった標準的な適応的最適化手法を、深層学習において上回ることができるか？
• RQ3 ブロック単位の勾配正規化は、深層ネットワークにおける適応的最適化の安定性とスケーラビリティを向上させるか？
• RQ4 曲率に基づく適応的手法は、手動での学習率チューニングなしに信頼性高く収束できるか？

主な発見

• ADASECANT は、MNIST における Maxout ネットワークにおいて、よくチューニングされた SGD with momentum や RMSProp や Adagrad と同等またはそれ以上の収束速度を達成した。
• アルゴリズムは、特に高分散の確率的設定において、一般化性能とハイパーパramータ選択へのロバストネスが向上した。
• 補正パラメータ γi をしきい値処理することで分散低減を実現し、学習の安定性とパフォーマンスが顕著に向上した。
• ブロック正規化された勾配によりスケール不変性が達成され、入力スケーリングやより深いネットワークアーキテクチャに対してもアルゴリズムの頑健性が向上した。
• 外れ値勾配への適応的リセットを備えた時間定数機構により、曲率推定の飽和を防ぎ、ノイズに強い耐性が得られた。