[論文レビュー] When Does Stochastic Gradient Algorithm Work Well?

Lam M. Nguyen, Nam Nguyen+3 more|arXiv (Cornell University)|Jan 18, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用数 8

ひとこと要約

本稿では、固定かつ大きなステップサイズを用いた確率的勾配降下法（SGD）が最適解の近傍への収束速度を向上させるという、目的関数に関する新しい仮定を導入する。主な貢献は、大多数の成分関数が解において勾配が小さい（すなわち、確率的勾配の分散が小さい）場合にSGDがフル勾配降下法と同様に振る舞うことを示したことであり、これは深層学習や分類モデルにおけるSGDの実験的成功を説明する。

ABSTRACT

In this paper, we consider a general stochastic optimization problem which is often at the core of supervised learning, such as deep learning and linear classification. We consider a standard stochastic gradient descent (SGD) method with a fixed, large step size and propose a novel assumption on the objective function, under which this method has the improved convergence rates (to a neighborhood of the optimal solutions). We then empirically demonstrate that these assumptions hold for logistic regression and standard deep neural networks on classical data sets. Thus our analysis helps to explain when efficient behavior can be expected from the SGD method in training classification models and deep neural networks.

研究の動機と目的

• 深層ニューラルネットワークや分類モデルの学習において、固定ステップサイズを用いた確率的勾配降下法（SGD）の実験的成功を説明すること。
• 確率的勾配の分散が高いために理論的に劣った収束速度を示すにもかかわらず、SGDがなぜ高速に収束するのかという条件を特定すること。
• 変動低減を必要としない状況でSGDが効率的に振る舞う条件を特徴づける新しい理論的仮定を提案すること。
• ロジスティック回帰およびMNIST、SVHN、CIFAR10、CIFAR100におけるDNNを含む標準的な深層学習設定で、提案仮定が成り立つことを実験的に検証すること。
• 静止点における勾配の分散を分析することで、SGDの実用的性能と理論的収束速度のギャップを埋めること。

提案手法

• 新しい仮定を提案：解において1−εの割合の成分関数が、その勾配の二乗ノルムがε未満であると仮定することで、確率的勾配推定の分散が低くなることを保証する。
• 実験的に仮定を検証するために、$ r_t = \frac{\frac{1}{t+1}\sum_{k=0}^{t}\left(\frac{1}{n}\sum_{i=1}^{n}\|\nabla f_i(\mathbf{w}_k) - \nabla f_i(\mathbf{w}_*)\|\right)}{\frac{1}{t+1}\sum_{k=0}^{t}\|F(\mathbf{w}_k)\|^{2}} $ という量を導入し、勾配のずれの比をモニタリングすることで仮定の妥当性を評価する。
• 数値実験を用いて、$ r_t $ の上界 $ N $ を推定し、解の近傍における勾配推定の安定性を定量化する。
• 標準的な深層学習アーキテクチャ（FFN、CNN）とデータセット（MNIST、SVHN、CIFAR10、CIFAR100）を用い、AdamおよびSGDの両方で仮定の妥当性をテストする。
• 補題1を適用して、ミニバッチサイズを増加させることで勾配の分散が低下し、仮定が満たされやすくなることを示す。
• 収束行動を分析するため、最終解における $ \|\nabla f_i(\mathbf{w})\| \leq \epsilon $ を満たす成分関数の割合 $ p_\epsilon $ を測定し、低分散勾配行動を示す。

実験結果

リサーチクエスチョン

• RQ1 固定かつ大きなステップサイズを用いたSGDが、最適解の近傍へどのように迅速に収束するのか、どのような条件下か？
• RQ2 理論的には非線形収束率を示すにもかかわらず、なぜSGDは実際には変動低減手法を上回ることが多いのか？
• RQ3 実際の深層学習モデルにおいて、個々の成分関数の勾配が解においてどの程度小さく保たれるのか？
• RQ4 静止点付近での確率的勾配の振る舞いは、非凸最適化におけるSGDの頑健性をどのように説明できるか？
• RQ5 適応的または減少するステップサイズを必要としない理論的仮定を、SGDの実験的成功を捉える形で定式化できるか？

主な発見

• MNIST、SVHN、CIFAR10、CIFAR100におけるロジスティック回帰および標準的な深層ニューラルネットワークにおいて、最終解において99.5％を超える成分関数が $ \epsilon = 10^{-7} $ 未塔の勾配を持つことが確認され、提案仮定が実騹的に成り立つことが示された。
• 全テスト設定において、$ \epsilon = 10^{-7} $ の場合に $ p_\epsilon \geq 99.42\% $ が得られ、収束時に大多数の成分勾配が無視できるほど小さいことが示された。
• 勾配推定の真の平均からの相対的ずれを測る $ r_t $ の比は、反復全体にわたり一定値以下に保たれ、提案仮定の妥当性を支持する。
• $ r_t $ の上界 $ N $ の推定値は小さく（例：MNIST-FFNでは $ 2.1 \times 10^{-8} $）、解の近傍における勾配推定の安定性が確認された。
• 提案仮定が予測するように、勾配の分散が低い場合には、固定ステップサイズを用いたSGDの収束速度がフル勾配降下法と一致する。
• より大きなミニバッチサイズは勾配の分散を低減し、条件 $ 1 - p_\epsilon \leq \epsilon $ が満たされやすくなる。極限において、SGDはフル勾配降下法の振る舞いに近づく。