[論文レビュー] Asymptotic Analysis via Stochastic Differential Equations of Gradient Descent Algorithms in Statistical and Computational Paradigms

Yazhen Wang|arXiv (Cornell University)|Nov 27, 2017

Stochastic Gradient Optimization Techniques参考文献 92被引用数 8

ひとこと要約

本稿では、確率微分方程式（SDE）を用いて勾配降下法アルゴリズムの統合的計算的・統計的漸近解析を統一的な枠組みで確立する。SDEを用いた解析により、確率的勾配降下法および加速勾配降下法が時間に依存するオーナイユ・ウーレンプ過程に収束することを示し、大標本および大反復回数の極限におけるアルゴリズムの動的挙動と統計推定量の性能を同時に分析可能にする。

ABSTRACT

This paper investigates asymptotic behaviors of gradient descent algorithms (particularly accelerated gradient descent and stochastic gradient descent) in the context of stochastic optimization arising in statistics and machine learning where objective functions are estimated from available data. We show that these algorithms can be computationally modeled by continuous-time ordinary or stochastic differential equations. We establish gradient flow central limit theorems to describe the limiting dynamic behaviors of these computational algorithms and the large-sample performances of the related statistical procedures, as the number of algorithm iterations and data size both go to infinity, where the gradient flow central limit theorems are governed by some linear ordinary or stochastic differential equations like time-dependent Ornstein-Uhlenbeck processes. We illustrate that our study can provide a novel unified framework for a joint computational and statistical asymptotic analysis, where the computational asymptotic analysis studies dynamic behaviors of these algorithms with the time (or the number of iterations in the algorithms), the statistical asymptotic analysis investigates large sample behaviors of the statistical procedures (like estimators and classifiers) that the algorithms are applied to compute, and in fact the statistical procedures are equal to the limits of the random sequences generated from these iterative algorithms as the number of iterations goes to infinity. The joint analysis results based on the obtained gradient flow central limit theorems can identify four factors - learning rate, batch size, gradient covariance, and Hessian - to derive new theory regarding the local minima found by stochastic gradient descent for solving non-convex optimization problems.

研究の動機と目的

• 勾配降下法の動的挙動と、それらから得られる統計推定量の漸近的性能を同時に分析する統合的漸近枠組みを構築すること。
• 大規模データおよび大規模反復回数の極限において、確率的および加速勾配降下法アルゴリズムを連続時間の確率微分方程式（SDE）としてモデル化すること。
• アルゴリズムの反復値の極限分布が線形SDEに従う正規分布であることを示す勾配フロー中心極限定理を確立すること。
• 学習率、ミニバッチサイズ、勾配共分散、ヘッセ行列という4つの主要要因が、非凸最適化における確率的勾配降下法が収束する局所的最小値に与える影響を特定・分析すること。
• 共通のSDEに基づく極限理論を通じて、計算的漸近（アルゴリズム収束）と統計的漸近（推定量分布）を統合すること。

提案手法

• 勾配降下法アルゴリズムを、特に時間に依存するオーナイユ・ウーレンプ過程を極限分布として持つ連続時間の通常微分方程式または確率微分方程式（SDE）としてモデル化する。
• テイラー展開および確率的微積分を用いて、真のパラメータまわりの反復値の漸近的分布を導出し、アルゴリズムの動的挙動と統計的推定を結びつける。
• フォッカー・プランク方程式を用いて、アルゴリズムの状態の時間発展する確率密度を特徴づけ、詳細バランス条件の下で定常分布を導出する。
• 正規化された偏差過程 $ V(t) $ の極限共分散行列 $ oldsymbol{ u}(oldsymbol{ heta}) $ を導出し、推定量の漸近的分散を支配する。
• ヘッセ行列と勾配共分散行列の極限における挙動を分析し、それらのトレースが推定量の漸近的分散を決定することを示す。
• アルゴリズムの反復値が拡散過程に弱収束することを確立し、関連するフォッカー・プランク方程式の収束およびモーメント条件により証明する。

実験結果

リサーチクエスチョン

• RQ1 反復回数とデータサイズが無限に増大する際、勾配降下法、確率的勾配降下法、加速勾配降下法はそれぞれどのように漸近的に振る舞うか？
• RQ2 これらのアルゴリズムが生成する反復値の極限分布は何か？ そして、確率微分方程式を用いてどのように特徴づけられるか？
• RQ3 学習率、ミニバッチサイズ、勾配共分散、ヘッセ行列が、収束性および得られる推定量の統計的性質にどのように同時に影響を与えるか？
• RQ4 最適化アルゴリズムの計算的ダイナミクスと、それらが計算する推定量の統計的性質を同時に分析できる統一的枠組みを構築できるか？
• RQ5 正規化された反復値の偏差が定常正規分布に収束する条件は何か？ また、いつ収束しなくなるか？

主な発見

• 正規化された偏差過程 $ V^{m}_{ u}(t) $ は、平均がゼロで共分散が $ oldsymbol{ u}(oldsymbol{ heta}) $ である正規分布に分布収束する。ここで $ oldsymbol{ u}(oldsymbol{ heta}) $ は線形SDEの解である。
• アルゴリズムの反復値の極限分布は、平均がゼロで分散が $ oldsymbol{ u}(oldsymbol{ heta}) $ である正規分布であり、フォッカー・プランク方程式の解から導出される。
• 正規化された偏差過程 $ V(t) $ の定常分布は、共分散 $ oldsymbol{ u}(oldsymbol{ heta}) $ の正規分布であり、定常性の下で $ oldsymbol{ u}(oldsymbol{ heta}) = rac{1}{2} oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta}) + rac{1}{2} oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta}) $ を満たす。
• 極限共分散行列 $ oldsymbol{ u}(oldsymbol{ heta}) $ のトレースは $ ext{tr}[oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta})] = rac{1}{2} ext{tr}[oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{ u}(oldsymbol{ heta})] $ を満たし、これにより勾配共分散と関連づけられる。
• ヘッセ行列に負の固有値をもつ鞍点では、過程 $ V(t) $ は定常分布に収束せず、時間とともに共分散が発散する。
• 推定量の漸近的分散は、線形SDEの解によって支配され、極限共分散 $ oldsymbol{ u}(oldsymbol{ heta}) $ はヘッセ行列と勾配共分散行列によって決定される。