[論文レビュー] Uniform-in-Time Weak Error Analysis for Stochastic Gradient Descent Algorithms via Diffusion Approximation

Yuanyuan Feng, Tingran Gao+3 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用数 8

ひとこと要約

本稿は、後退誤差解析の技術を拡散近似に導入し、局所的最小値付近における定数ステップサイズの確率的勾配降下法（SGD）について、時間に一様な弱誤差バインディングを確立する。Kolmogorov方程式の展開係数に対する時間に一様なバインディングを導出することで、著者らは弱近似の有効性を無限時間スケールにまで拡張し、局所的強い凸性を持つ設定におけるSGDダイナミクスの漸近的解析を可能にする。これは従来の拡散近似では不可能であった。

ABSTRACT

Diffusion approximation provides weak approximation for stochastic gradient descent algorithms in a finite time horizon. In this paper, we introduce new tools motivated by the backward error analysis of numerical stochastic differential equations into the theoretical framework of diffusion approximation, extending the validity of the weak approximation from finite to infinite time horizon. The new techniques developed in this paper enable us to characterize the asymptotic behavior of constant-step-size SGD algorithms for strongly convex objective functions, a goal previously unreachable within the diffusion approximation framework. Our analysis builds upon a truncated formal power expansion of the solution of a stochastic modified equation arising from diffusion approximation, where the main technical ingredient is a uniform-in-time weak error bound controlling the long-term behavior of the expansion coefficient functions near the global minimum. We expect these new techniques to greatly expand the range of applicability of diffusion approximation to cover wider and deeper aspects of stochastic optimization algorithms in data science.

研究の動機と目的

• 確率的勾配降下法（SGD）の拡散近似の有効性を、有限時間から無限時間スケールにまで拡張すること。
• 目的関数が局所的強く凸であるような局所的最小値付近における定数ステップサイズのSGDの漸近的分布的挙動を分析すること。
• 拡散近似の標準的手法では、拡散項の有界性が保てないため、時間の増大に伴い誤差を制御できないという限界を克服すること。
• 長期的な弱誤差制御を可能にするために、後退誤差解析に基づく新しい理論的ツールを開発すること。
• 時間に一様な弱誤差バインディングを持つ修正された確率的微分方程式（SDE）を用いて、SGD反復の長期的挙動を特徴付けること。

提案手法

• 数値的SDEにおける後退誤差解析の技術を、SGDの拡散近似から生じる修正SDEに適応する。
• SGDの拡散近似に関連するKolmogorov方程式の解の形式的べき級数展開を構築する。
• 局所的最小値付近での長期的挙動を制御するために、展開係数に対する時間に一様なバインディングを導出する。
• 特性線法を用いて、1次補正項 $ u_1 $ を $ f' $, $ f'' $, およびテスト関数 $ \varphi $ を含む積分で表現する。
• 変数変換および対数変換を適用して、展開項の積分表現を簡略化する。
• 展開係数が $ t \to \infty $ の際にも有界であることを保証することで、時間に一様な弱誤差バインディングを確立する。

実験結果

リサーチクエスチョン

• RQ1 拡散近似を無限時間スケールにまで拡張し、SGDに対する有効な弱誤差バインディングを提供できるか？
• RQ2 局所的強い凸性のもとで、定数ステップサイズのSGDの漸近的分布的挙動は何か？
• RQ3 後退誤差解析のツールをどのように適応させれば、SGDの拡散近似における長期的誤差を制御できるか？
• RQ4 Kolmogorov方程式の枠組みにおいて、展開係数の時間に一様な有界性を保証する条件は何か？
• RQ5 拡散近似から得られる修正SDEを用いて、非凸的だが局所的に凸な設定におけるSGDの長期的ダイナミクスを分析できるか？

主な発見

• 本稿は、局所的強く凸な領域における定数ステップサイズのSGDについて、時間に一様な弱誤差バインディングを確立し、古典的拡散近似の主要な限界を解消した。
• 形式的べき級数展開における1次補正項 $ u_1 $ が明示的に導出され、$ t \to \infty $ の際にも有界であることが示された。これにより長期的解析が可能となった。
• 解析により、局所的最小値付近におけるSGDの長期的挙動は、元のSDEが無限大の拡散項を持つ場合でも、制御された拡散を持つ修正SDEによって支配されることを明らかにした。
• 展開係数に対する導出されたバインディングにより、弱近似誤差が時間に対して一様に有界であることが保証され、修正SDEを漸近的解析に用いる正当性が裏付けられた。
• 本手法により、SGD反復の不変測度の特徴付けが可能となり、一般化性および収束特性に関する新たな知見が得られた。
• 本フレームワークは一般化可能であり、データサイエンス分野における広範な確率的最適化アルゴリズムへの拡散近似の適用範囲を拡張することが期待される。