[論文レビュー] Accelerating Minibatch Stochastic Gradient Descent using Stratified Sampling

Peilin Zhao, Tong Zhang|arXiv (Cornell University)|May 13, 2014

Stochastic Gradient Optimization Techniques参考文献 11被引用数 83

ひとこと要約

この論文は、データを低分散サブグループにクラスタリングし、各クラスタから割合に応じてサンプリングすることで分散を低減するミニバッチ確率的勾配降下法（SGD）の階層的サンプリング戦略を提案する。この手法は、一様サンプリングと比較して収束が速く、一般化性能が向上し、複数のデータセットにおける実験結果で顕著な分散低減と高速な学習が確認された。

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular optimization method which has been applied to many important machine learning tasks such as Support Vector Machines and Deep Neural Networks. In order to parallelize SGD, minibatch training is often employed. The standard approach is to uniformly sample a minibatch at each step, which often leads to high variance. In this paper we propose a stratified sampling strategy, which divides the whole dataset into clusters with low within-cluster variance; we then take examples from these clusters using a stratified sampling technique. It is shown that the convergence rate can be significantly improved by the algorithm. Encouraging experimental results confirm the effectiveness of the proposed method.

研究の動機と目的

• 一様サンプリングに起因するミニバッチSGDにおける高い分散問題に対処し、収束を遅くする要因を解消する。
• 戦略的なサンプリングにより、確率的勾配推定器の分散の上界を最小化することで、SGDの収束速度を向上させる。
• 勾配分散に基づいてデータをクラスタリングし、各クラスタからサンプリングすることで、全体の推定器分散を低減する実用的なサンプリング戦略を開発する。
• 階層的サンプリングが、複数の機械学習ベンチマークにおいて、学習の安定性、テスト誤差、および勾配の分散低減の観点で一様サンプリングを上回ることを実証する。

提案手法

• 各クラスタ内の勾配の分散が低いように、トレーニングデータセットをクラスタに分割する。
• 勾配推定器の分散の上界を最小化する最適化に基づくアプローチを用い、各クラスタごとの最適なサンプリング確率を決定する。
• 導出された最適確率に従って各クラスタからサンプリングすることで、不偏な確率的勾配推定器を構築する。
• 動的および固定の階層的戦略を実装し、クラスタは各イテレーションで再計算されるか、一定に保たれる。
• L2正則化を施した多クラスロジスティック回帰にこの手法を適用し、ベースラインの一様サンプリングと同一の学習率とミニバッチサイズを用いる。
• 複雑な最適化問題を解かずにクラスタ形成を行う代替手段として、k-meansクラスタリングを実用的かつ性能劣化なしに採用する。

実験結果

リサーチクエスチョン

• RQ1 階層的サンプリングは、一様サンプリングと比較して、ミニバッチ確率的勾配推定器の分散をより効果的に低減できるか？
• RQ2 勾配分散の低減は、SGDにおける収束速度の向上と一般化性能の向上をもたらすか？
• RQ3 訓練目的関数、テスト誤差、および勾配の分散という観点から、提案された階層的サンプリング戦略は一様サンプリングと比較してどのように異なるか？
• RQ4 固定クラスタリングと動的クラスタリングの使用が、階層的サンプリング手法の性能に与える影響は何か？
• RQ5 提案手法は、SVRG や重要度サンプリングといった他の分散低減技術と組み合わせ可能か？

主な発見

• 実験的分散測定により、一様サンプリングと比較して、提案された階層的サンプリング手法が確率的勾配推定器の分散を顕著に低減することが確認された。
• covtype.binary データセットにおいて、階層的サンプリングを用いたSGD（SGD-ss）は、一様サンプリングSGDよりも、目的関数値の観点でより速くかつ安定した収束を示した。
• covtype.binary、letter、mnist、pendigits、usps といった全評価対象データセットにおいて、SGD-ssはより低く安定したテスト誤差率を達成した。
• 確率的勾配推定器の分散は、SGD-ssが一様サンプリングSGDよりも一貫して低く、理論的な分散低減が裏付けられた。
• 最適化問題を解かずにk-meansクラスタリングを用いても性能が維持されることから、実用的な妥当性が示された。
• 複数のデータセットにおいて収束速度の向上が実証されたことから、提案されたサンプリング戦略の堅牢性と有効性が裏付けられた。