[論文レビュー] Stochastic Gradient Descent, Weighted Sampling, and the Randomized Kaczmarz algorithm

Deanna Needell, Nathan Srebro+1 more|arXiv (Cornell University)|Oct 21, 2013

Stochastic Gradient Optimization Techniques参考文献 40被引用数 33

ひとこと要約

本稿は、重要性サンプリング（重み付きサンプリング）を用いて、滑らかで強く凸な問題に対する確率的勾配降下法（SGD）の収束保証をより厳密にした。従来の $L/\mu$ の二乗に依存するものとは異なり、条件数 $L/\mu$ に対して線形依存となることを示した。また、SGDとランダム化カツチャルツ法の間の関係を確立し、部分的にバイアスがかかるサンプリングを用いた改良型カツチャルツ法を提案。この手法は真の最小二乗解へ指数的収束を達成する。

ABSTRACT

We obtain an improved finite-sample guarantee on the linear convergence of stochastic gradient descent for smooth and strongly convex objectives, improving from a quadratic dependence on the conditioning $(L/μ)^2$ (where $L$ is a bound on the smoothness and $μ$ on the strong convexity) to a linear dependence on $L/μ$. Furthermore, we show how reweighting the sampling distribution (i.e. importance sampling) is necessary in order to further improve convergence, and obtain a linear dependence in the average smoothness, dominating previous results. We also discuss importance sampling for SGD more broadly and show how it can improve convergence also in other scenarios. Our results are based on a connection we make between SGD and the randomized Kaczmarz algorithm, which allows us to transfer ideas between the separate bodies of literature studying each of the two methods. In particular, we recast the randomized Kaczmarz algorithm as an instance of SGD, and apply our results to prove its exponential convergence, but to the solution of a weighted least squares problem rather than the original least squares problem. We then present a modified Kaczmarz algorithm with partially biased sampling which does converge to the original least squares solution with the same exponential convergence rate.

研究の動機と目的

• 滑らかで強く凸な目的関数に対する確率的勾配降下法（SGD）の有限サンプル収束速度を改善すること。
• 標準的な一様サンプリングを超えて収束を改善するためには、重要性サンプリング（重み付きサンプリング）が不可欠であることを示すこと。
• SGDとランダム化カツチャルツ法の間の明確な理論的接続を確立し、両手法間で知見を共有すること。
• 真の最小二乗解へ指数的収束を達成するように改良したカツチャルツ法を設計すること。この手法は部分的にバイアスがかかるサンプリングを用いる。
• 反復回数の複雑さに関するよりタイトな理論的境界を提示し、$L/\mu$ に対して二次的ではなく線形に依存するようにすること。

提案手法

• ランダム化カツチャルツ法を重み付き最小二乗問題に対するSGDの一種として再定式化する。
• 勾配推定の分散を最小化するために、行のノルム（またはリプシッツ定数）に基づいてサンプリング分布を再重み付けすることで重要性サンプリングを導入する。
• 重み付きサンプリング下でのSGDの収束を分析し、条件数 $L/\mu$ に対して線形依存となる境界を導出する。
• 元の最小二乗解（重み付きではない解）へ収束する部分的にバイアスがかかるサンプリングを用いた改良型カツチャルツ法を提案する。
• SGDとカツチャルツ法の関係を活用し、適切なサンプリングのもとで両手法に指数的収束保証を適用する。
• 期待される非最適性 $\mathbb{E}\|\mathbf{x}_k - \mathbf{x}_\star\|^2$ の理論的境界を確立し、$1/\varepsilon$ に対して対数的スケーリングとなるようにする。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸な問題に対するSGDの収束速度は、条件数に $ (L/\mu)^2 $ の依存関係を持つ従来のものより改善可能か？
• RQ2 重要性サンプリング（重み付きサンプリング）は、一様サンプリングを超えてSGDの収束をどのように向上させるか？
• RQ3 ランダム化カツチャルツ法は、どのようにSGDの一種として再解釈可能か？ これにより、既存のSGD収束理論を活用できるか？
• RQ4 非一様サンプリング下でも指数的収束を維持しつつ、真の最小二乗解へ収束するカツチャルツの変種を設計可能か？
• RQ5 SGDの収束速度は、平均の滑らかさ $\mathbb{E}[L_i^2]$ に依存するのか、それとも最悪ケースの滑らかさに依存するのか？ 重要性サンプリングはこの依存関係にどのように影響を与えるか？

主な発見

• 本稿は、SGDの収束速度において、条件数 $L/\mu$ に対して線形依存となることを確立し、従来の $ (L/\mu)^2 $ に依存するものよりも改善した。
• サンプリング分布の再重み付けによる重要性サンプリングにより、収束境界が平均滑らかさ $\mathbb{E}[L_i^2] $ に対して線形に依存するようになり、従来の結果を上回る。
• ランダム化カツチャルツ法は、重み付き最小二乗問題に対するSGDの一種として再解釈され、重み付き解への指数的収束を導出可能となった。
• 部分的にバイアスがかかるサンプリングを用いた改良型カツチャルツ法を提案。この手法は、元の最小二乗解へ、標準的手法と同等の指数的収束速度で収束する。
• 数値実験により、行のノルムがばらつく状況では重み付きサンプリング（$\lambda = 0$）が一様サンプリング（$\lambda = 1$）を上回ることが確認された。特に高ノイズ環境下で顕著であった。
• 低ノイズ・良好に条件付けられた設定では純粋な重み付きサンプリングが最適である一方、中〜高ノイズ環境では中間のサンプリング（$\lambda \in (0,1)$）が最良の性能を示し、理論的妥当性を持つ収束速度と初期誤差のトレードオフを裏付けた。