[論文レビュー] Normal Approximation for Stochastic Gradient Descent via Non-Asymptotic Rates of Martingale CLT

Andreas Anastasiou, Krishnakumar Balasubramanian+1 more|arXiv (Cornell University)|Apr 3, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 5

ひとこと要約

本稿は、新しい非漸近的マルティングール中央極限定理（CLT）を用いて、ポリアック＝ラッパー平均付き確率的勾配降下法（SGD）の正規分布への非漸近的収束速度を確立する。スティーンの手法とリンデバーグの議論を組み合わせることで、多次元マルティングール差分列に対する明示的な収束速度が得られ、有限標本における信頼区間や仮説検定が漸近的近似に依存せずに有効である。

ABSTRACT

We provide non-asymptotic convergence rates of the Polyak-Ruppert averaged stochastic gradient descent (SGD) to a normal random vector for a class of twice-differentiable test functions. A crucial intermediate step is proving a non-asymptotic martingale central limit theorem (CLT), i.e., establishing the rates of convergence of a multivariate martingale difference sequence to a normal random vector, which might be of independent interest. We obtain the explicit rates for the multivariate martingale CLT using a combination of Stein's method and Lindeberg's argument, which is then used in conjunction with a non-asymptotic analysis of averaged SGD proposed in [PJ92]. Our results have potentially interesting consequences for computing confidence intervals for parameter estimation with SGD and constructing hypothesis tests with SGD that are valid in a non-asymptotic sense.

研究の動機と目的

• 高次元統計における未解決問題、すなわち平均付きSGDの非漸近的正規近似を扱う。
• 2回微分可能なテスト関数に対して、平均付きSGDの正規分布への明示的かつ非漸近的収束速度を確立する。
• 可視化可能な収束速度を伴う非漸近的多次元マルティングールCLTを構築し、確率的最適化に適用可能とする。
• 漸近的正規性の制限を克服し、SGDに基づくパrameter推定における有限標本における不確実性の定量化を可能にする。

提案手法

• 多次元マルティングール差分列に対して、スティーンの手法とリンデバーグの議論を組み合わせた非漸近的マルティングールCLTを導出する。
• 一階および二階の有界な微分係数を持つテスト関数に対して、 Wasserstein 距離の観点から収束速度を確立する。
• ヘッセ行列の滑らかさと強い凸性の仮定を用いて、SGD反復における高階の剰余項を制御する。
• 文献[35]における平均付きSGDの非漸近的解析と、新しいマルティングールCLTを組み合わせ、正規近似誤差のバウンドを求める。
• 主要な要素として、残差項 $ I_1, I_3, I_4 $ のノルムをモーメントバウンドおよび逆ヘッセ行列のスペクトルノルムを用いてバウンドする。
• ステップサイズ $ heta_t $、ヘッセ行列の滑らかさ定数 $ L_H $、および条件数 $ rac{ u}{ u} $ を用いて、明示的な誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 やや緩い正則性条件下で、平均付きSGDの正規分布への非漸近的収束速度は何か？
• RQ2 スティーンの手法を用いて、明示的な誤差バウンドを伴う非漸近的多次元マルティングールCLTを確立できるか？
• RQ3 高次元設定における有限時間の推論において、SGDの正規近似誤差はどのように定量化できるか？
• RQ4 これらのバウンドは、有限標本領域における有効な信頼区間および仮説検定の構築にどのような意味を持つのか？

主な発見

• 本稿は、2回微分可能なテスト関数に対して、Wasserstein距離における明示的な収束速度を伴う非漸近的多次元マルティングールCLTを確立する。
• 平均付きSGDの正規分布への収束速度は、$ O\left( \frac{\|\Sigma_t^{-1/2}\|_2}{t} \sum_{j=1}^{t-1} \sqrt{\eta_j} \right) $ でバウンドされ、ここで $ \eta_j $ はステップサイズである。
• 剰余項 $ I_4 $ の誤差バウンドは、$ \frac{\|\Sigma_t^{-1/2}\|_2 L_H}{t} \sum_{j=1}^{t-1} \sqrt{\eta_j} $ とスケーリングされ、ヘッセ行列の滑らかさとステップサイズの減少に依存する。
• 残差の期待ノルム $ \mathbb{E}[\|I_4\|_2] $ は、$ \mathbb{E}[\|\Delta_j\|_2] \leq \sqrt{\frac{2C}{\mu} \eta_j} $ を用いたモーメント制御によりバウンドされ、強凸性パrameter $ \mu $ と関連づけられる。
• 本手法により、漸近的近似に依存せずに有効な有限標本における信頼区間が得られる。
• 結果は、オンライン学習およびSGDを用いた統計的推論における不確実性の定量化の理論的基盤を提供する。