[論文レビュー] Nonconvex Variance Reduced Optimization with Arbitrary Sampling

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|Sep 11, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用数 13

ひとこと要約

本稿では、非凸な経験的リスク最小化に対する、重要度サンプリングを組み合わせた最初のバリアンス低減 stochastic 最適化手法を提案する。SVRG、SAGA、SARAH を任意のサンプリング戦略に拡張したものであり、最適な収束速度を達成するとともに、ミニバッチサイズに対してスーパー線形な高速化を実現し、最先端の手法と比較して実データセット上での学習を顕著に高速化する。

ABSTRACT

We provide the first importance sampling variants of variance reduced algorithms for empirical risk minimization with non-convex loss functions. In particular, we analyze non-convex versions of SVRG, SAGA and SARAH. Our methods have the capacity to speed up the training process by an order of magnitude compared to the state of the art on real datasets. Moreover, we also improve upon current mini-batch analysis of these methods by proposing importance sampling for minibatches in this setting. Surprisingly, our approach can in some regimes lead to superlinear speedup with respect to the minibatch size, which is not usually present in stochastic optimization. All the above results follow from a general analysis of the methods which works with arbitrary sampling, i.e., fully general randomized strategy for the selection of subsets of examples to be sampled in each iteration. Finally, we also perform a novel importance sampling analysis of SARAH in the convex setting.

研究の動機と目的

• 非凸な損失関数に対するバリアンス低減 stochastic 最適化の理論的理解のギャップを埋めること。
• 非凸な設定において、SVRG、SAGA、SARAH の重要度サンプリングバージョンを開発すること。これは、これまで未解決であった分野である。
• 特に非凸問題に対して、最初の最適なミニバッチ重要度サンプリング戦略を提供すること。
• 任意のサンプリングのもとでの収束性を分析し、各イテレーションでデータサブセットを完全に一般化された確率的選択が可能であるようにすること。
• 非凸最適化におけるミニバッチサイズに対するスーパー線形な高速化の理論的基盤を確立すること。

提案手法

• 任意のサンプリングのもとでのバリアンス低減手法の一般化された分析フレームワークを提案し、柔軟で非一様なデータ選択戦略を可能にする。
• 非凸な設定におけるミニバッチにおける重要度サンプリングを導入し、収束時間を最小化する最適なサンプリング確率を導出する。
• バイアス付き勾配推定器を用いて、非凸目的関数に適合した SVRG、SAGA、SARAH の変種を構築する。
• 個々の関数の $L_i$-スムーズ性と平均関数 $f$ の強い凸性を仮定したもとで、非凸性下での収束保証を導出する。
• 凸設定における SARAH の新しい分析をステップとして用い、重要度サンプリングを導入した非凸ケースへの拡張を実現する。
• バリアンスと勾配誤差項を制御するため、ネステロフの強い凸性バインドとヤングの不等式といった重要な不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングは、非凸な設定下で SVRG や SAGA、SARAH のようなバリアンス低減手法に効果的に拡張可能か？
• RQ2 非凸な stochastic 最適化におけるミニバッチの最適なサンプリング戦略は何か？ また、それが収束速度の向上をもたらすか？
• RQ3 任意のサンプリング戦略を用いることで、非凸性下での既存のバリアンス低減手法を統一的かつ一般化可能か？
• RQ4 ミニバッチにおける重要度サンプリングは、古典的直観とは対照的に、非凸最適化でスーパー線形な高速化をもたらすか？
• RQ5 一般化された確率的データ選択のもとで、非凸なバリアンス低減手法にどのような理論的保証を設定できるか？

主な発見

• 提案手法は、実データセット上での学習時間において、最先端の手法と比較して最大で1桁の高速化を達成する。
• 本稿は、非凸問題に適用可能な、最初の最適なミニバッチ重要度サンプリング戦略を提示する。
• ミニバッチにおける重要度サンプリングは、特定の条件下でミニバッチサイズに対してスーパー線形な高速化をもたらす。これは古典的直観とは対照的である。
• 理論的分析により、$L_i$-スムーズ性と強い凸性の仮定のもとで、一般化された任意のサンプリングフレームワークを用いて線形収束が示される。
• 凸ケースにおける SARAH の分析は新規であり、重要度サンプリングを導入した非凸拡張の基盤をなす。
• 勾配推定器の期待バリアンスを最小化する最適なサンプリング確率により、収束速度が向上する。