[論文レビュー] Stochastic Optimization with Importance Sampling

Peilin Zhao, Tong Zhang|arXiv (Cornell University)|Jan 13, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用数 66

ひとこと要約

本稿では、近接確率的勾配降下法（prox-SGD）および近接確率的双対座標上昇法（prox-SDCA）における重要度サンプリング戦略を提案し、確率的勾配の分散を低減し収束を加速する。勾配ノルムや滑らかさパラメータに従ってデータポイントをサンプリングすることで、一様サンプリングと比較して顕著に高速な収束速度を達成し、理論的保証と多数のデータセットにおける実証的検証を兼ね備える。

ABSTRACT

Uniform sampling of training data has been commonly used in traditional stochastic optimization algorithms such as Proximal Stochastic Gradient Descent (prox-SGD) and Proximal Stochastic Dual Coordinate Ascent (prox-SDCA). Although uniform sampling can guarantee that the sampled stochastic quantity is an unbiased estimate of the corresponding true quantity, the resulting estimator may have a rather high variance, which negatively affects the convergence of the underlying optimization procedure. In this paper we study stochastic optimization with importance sampling, which improves the convergence rate by reducing the stochastic variance. Specifically, we study prox-SGD (actually, stochastic mirror descent) with importance sampling and prox-SDCA with importance sampling. For prox-SGD, instead of adopting uniform sampling throughout the training process, the proposed algorithm employs importance sampling to minimize the variance of the stochastic gradient. For prox-SDCA, the proposed importance sampling scheme aims to achieve higher expected dual value at each dual coordinate ascent step. We provide extensive theoretical analysis to show that the convergence rates with the proposed importance sampling methods can be significantly improved under suitable conditions both for prox-SGD and for prox-SDCA. Experiments are provided to verify the theoretical analysis.

研究の動機と目的

• 確率的最適化における一様サンプリングによって引き起こされる勾配推定子の高い分散を解消すること。
• 非一様サンプリングによる分散の最小化を通じて、prox-SGDおよびprox-SDCAの収束速度を向上させること。
• 両アルゴリズムにおける勾配ノルムおよび滑らかさパラメータに基づく最適なサンプリング分布を導出すること。
• 適切な条件下で理論的収束速度の向上を示し、既存の結果を一般化すること。
• 実世界のデータセットを用いた実証的検証を通じて、提案手法の有効性を確認し、双対ギャップの迅速な低減と安定した性能を裏付けること。

提案手法

• prox-SGDでは、サンプリング確率を確率的勾配のノルムに比例させる重要度サンプリングを用い、勾配推定子の分散を最小化する。
• 収束保証を維持するため、これらの非一様サンプリング確率に基づいて不偏で重要度補正付きの勾配推定子を構築する。
• prox-SDCAでは、各反復における双対目的関数の期待増加量を最大化するようにサンプリング分布を導出する。この分布は損失関数の滑らかさ定数に依存する。
• 理論的分析により、最適なサンプリング分布がprox-SGDでは勾配ノルム、prox-SDCAでは損失関数の滑らかさに依存することを示した。
• 計算の簡略化を図るため、勾配ノルムの上界を用いるが、分散低減の利点は保持される。
• このフレームワークは近接確率的ミラー降下に一般化可能であり、標準的一様サンプリングが特別な場合として含まれる。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングは、一様サンプリングを上回るprox-SGDにおける確率的勾配の分散低減を達成できるか？
• RQ2 勾配分散を最小化する最適なサンプリング分布は、prox-SGDにおいてどのようなものか？
• RQ3 重要度サンプリングは、prox-SDCAにおいて反復ごとの双対目的関数の向上を最大化するためにどのように適応可能か？
• RQ4 一様サンプリングと比較して、重要度サンプリングにより達成可能な理論的収束速度の向上はどの程度か？
• RQ5 提案手法は収束を加速させながら、テスト精度を維持または向上させるか？

主な発見

• 提案されたprox-SGDにおける重要度サンプリング戦略は、勾配のノルムに比例する確率でデータポイントをサンプリングすることで、より低い分散の勾配推定子を達成する。
• prox-SDCAでは、損失関数の滑らかさ定数に依存する最適なサンプリング分布が得られ、双対目的関数の向上が速くなる。
• 理論的分析により、適切な条件下で収束速度が顕著に向上することが示され、本手法は既存の一様サンプリング結果を一般化する。
• ijcnn1、kdd2010、w8aなどのデータセットにおける実証結果から、Iprox-SDCAは標準的なSDCAと比較して双対ギャップの観点でより速く収束することが確認された。
• Iprox-SDCAのテスト誤差率は標準SDCAと同等であり、高速な収束にもかかわらず一般化性能が低下していないことが示された。
• Iprox-SDCAでは確率的勾配の分散がわずかに低減されたが、SDCA自体に内在する分散低減の特性により、その改善は小さい。