[論文レビュー] Reinforced stochastic gradient descent for deep neural network learning

Haiping Huang, Taro Toyoizumi|arXiv (Cornell University)|Jan 27, 2017

Stochastic Gradient Optimization Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、時間経過に伴い増加する確率を用いて、現在の勾配を蓄積された過去の勾配で確率的に強化する、新しいSGDの変種である強化確率的勾配降下法（R-SGD）を提案する。R-SGDは学習を顕著に高速化し、過学習を低減し、メモリ使用量を半分に抑えながら、Adamと同等の一般化性能を達成する。合成データおよびMNISTベンチマークにおいて、標準的なSGDおよび適応的最適化手法を上回る性能を発揮する。

ABSTRACT

Stochastic gradient descent (SGD) is a standard optimization method to minimize a training error with respect to network parameters in modern neural network learning. However, it typically suffers from proliferation of saddle points in the high-dimensional parameter space. Therefore, it is highly desirable to design an efficient algorithm to escape from these saddle points and reach a parameter region of better generalization capabilities. Here, we propose a simple extension of SGD, namely reinforced SGD, which simply adds previous first-order gradients in a stochastic manner with a probability that increases with learning time. As verified in a simple synthetic dataset, this method significantly accelerates learning compared with the original SGD. Surprisingly, it dramatically reduces over-fitting effects, even compared with state-of-the-art adaptive learning algorithm---Adam. For a benchmark handwritten digits dataset, the learning performance is comparable to Adam, yet with an extra advantage of requiring one-fold less computer memory. The reinforced SGD is also compared with SGD with fixed or adaptive momentum parameter and Nesterov's momentum, which shows that the proposed framework is able to reach a similar generalization accuracy with less computational costs. Overall, our method introduces stochastic memory into gradients, which plays an important role in understanding how gradient-based training algorithms can work and its relationship with generalization abilities of deep networks.

研究の動機と目的

• 深層ニューラルネットワークの学習において、高次元の損失関数の鞍点や平坦部にSGDが閉じ込められてしまうという課題に対処すること。
• 計算コストやメモリ使用量を増加させることなく、一般化性能と収束速度を向上させること。
• 歴史的な勾配情報の確率的統合が、探索性を高め、劣悪な局所最小値からの脱出を促進するかどうかを検証すること。
• 精度と効率の観点から、R-SGDの性能をAdamやモーメンタムベースの最適化手法といった最先端の適応的最適化手法と比較すること。
• 実験的評価を通じて、勾配記憶と一般化の関係を深層学習の文脈で調査すること。

提案手法

• R-SGDは、訓練ステップに応じて増加する時間依存の強化確率を導入し、現在の勾配と蓄積された過去の勾配の重み付き和を確率的に組み合わせる。
• 各更新ステップにおいて、強化勾配（現在の勾配＋過去の勾配）を適用するか、あるいは単に現在の勾配のみを適用するかを確率的メカニズムで決定する。
• 強化は、時間の経過に伴い増加する確率で、蓄積された過去の勾配のスケーリングされたバージョンを現在の勾配に加算することで実装される。
• アルゴリズムは過去の勾配の累積平均を維持し、それを確率的に適用することで、最適化プロセスに制御された記憶を導入する。
• フレームワークは、シグモイド活性化関数を用いた全結合深層ネットワークを対象とし、合成非線形マッピングおよびMNISTの数字分類タスクで評価された。
• 訓練／テスト損失および一般化精度を指標として、R-SGDは、vanilla SGD、Adam、モーメンタムベースのSGD変種と比較された。

実験結果

リサーチクエスチョン

• RQ1 過去の勾配の確率的強化は、深層ニューラルネットワークの学習における収束速度と一般化性能を向上させるか？
• RQ2 R-SGDは、より少ないメモリ使用量でAdamを上回る一般化性能を達成するか？
• RQ3 歴史的な勾配情報の組み込みは、高次元かつ非凸な損失関数の最適化軌道にどのように影響を与えるか？
• RQ4 R-SGDは、標準的なSGDが制限を受ける鞍点や平坦部を効果的に脱出できるか？
• RQ5 異なる初期化条件において、R-SGDの性能はモーメンタムベースおよび適応的手法と比較してどうなるか？

主な発見

• 合成非線形マッピングタスクにおいて、R-SGDは標準的なSGDおよびAdamと比較して、学習を顕著に高速化し、過学習を低減した。
• MNISTベンチマークにおいて、R-SGDは、メモリ使用量を半分に抑えながら、Adamと同等の一般化性能を達成した。
• R-SGDは、Adamおよび適応的モーメンタム付きSGDと同等の一般化精度に到達したが、計算コストは低かった。
• 二重線形補間解析の結果、R-SGDはAdamよりも重み空間でより鋭い部分空間を探索していることが示され、異なる一般化特性を示唆した。
• 固定または適応的モーメンタム付きSGDおよびネステロフのモーメンタムを用いた手法と比較して、R-SGDは収束速度および一般化性能において優れた性能を示した。
• R-SGDは、異なるランダム初期化に対しても安定した性能を示し、一貫した最適化行動を示した。