[論文レビュー] Stochastic Optimization with Bandit Sampling

Farnood Salehi, L. Elisa Celis+1 more|arXiv (Cornell University)|Aug 8, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用数 11

ひとこと要約

本稿では、勾配推定誤差の分散を最小化するために確率的勾配降下法のためのデータポイントを適応的に選択するマルチアームバンディットに基づくサンプリング手法MABSを提案する。バンディットフィードバックを用いて動的にサンプリング確率を更新することで、MABSは漸近的に最適分散の3倍の要因内で近似され、実データセット上での確率的勾配降下法（SGD）、Prox-SVRG、SAGAにおいて収束が著しく高速化される。

ABSTRACT

Many stochastic optimization algorithms work by estimating the gradient of the cost function on the fly by sampling datapoints uniformly at random from a training set. However, the estimator might have a large variance, which inadvertently slows down the convergence rate of the algorithms. One way to reduce this variance is to sample the datapoints from a carefully selected non-uniform distribution. In this work, we propose a novel non-uniform sampling approach that uses the multi-armed bandit framework. Theoretically, we show that our algorithm asymptotically approximates the optimal variance within a factor of 3. Empirically, we show that using this datapoint-selection technique results in a significant reduction in the convergence time and variance of several stochastic optimization algorithms such as SGD, SVRG and SAGA. This approach for sampling datapoints is general, and can be used in conjunction with any algorithm that uses an unbiased gradient estimation -- we expect it to have broad applicability beyond the specific examples explored in this work.

研究の動機と目的

• 大規模な機械学習における収束を遅らせる勾配推定誤差の高い分散に対処すること。
• 勾配の大きさに関する事前知識が不要な、データポイントのサンプリング戦略を考案すること。
• 勾配計算からのオンラインフィードバックを用いて、リアルタイムで最適なサンプリング確率を学習する手法を設計すること。
• 計算コストを低く保ちながら、分散低減に関する理論的保証を確保すること。
• 初期の事例研究を超えて、複数の確率的最適化アルゴリズムに広く適用可能であることを実証すること。

提案手法

• サンプリング分布 $ p^t $ における勾配推定誤差の有効な分散を、$ \mathbb{V}_e^t(w^t, p^t) = \frac{1}{n^2} \sum_{i=1}^n \frac{1}{p_i^t} \|\nabla\phi_i(w^t)\|^2 $ として定式化する。
• 観測された勾配ノルムに基づいて、最適なサンプリング分布 $ p^t $ をオンラインで学習するために、EXP3マルチアームバンディットアルゴリズムを適用する。
• 高勾配のデータポイントの選択における探索と活用のバランスを取るために、指数的重み付けを用いてサンプリング確率を更新する。
• 非一様サンプリングによるバイアスを補正するために、逆確率重み付けを用いて不偏な勾配推定器を維持する：$ \hat{g}(w^t) = \frac{\nabla\phi_{i_t}(w^t)}{n p_i^t} $。
• 歴史的な勾配ノルムを用いて、コストの高い全勾配計算を避けるために、最適な分布を動的に推定する。
• 前処理を一切不要とせず、反復の過程で変化する勾配の大きさに適応する。

実験結果

リサーチクエスチョン

• RQ1 バンディットに基づくアプローチは、勾配降下法における近似的に最適な非一様サンプリング分布を学習できるか？
• RQ2 提案手法の最適サンプリング分布に対する分散近似誤差に理論的バウンドを確立できるか？
• RQ3 経験的に、均一サンプリングおよび重要度サンプリングと比較して、提案されたサンプリング戦略は収束速度と安定性においてどのように異なるか？
• RQ4 計算コストを低く保ちながら、さまざまなアルゴリズムとデータセットにおいて最適化性能を向上させることができるか？
• RQ5 本手法は、確率的最適化における大きなステップサイズに対してもロバスト性を向上させることができるか？

主な発見

• 勾配が有界であるという仮定の下で、MABSは漸近的に最適分散の3倍の要因内で近似される。
• w8aおよびijcnn1のデータセットにおいて、MABSはSGD、Prox-SVRG、SAGAにおいて、均一サンプリングおよび重要度サンプリングと比較して収束時間と分散を著しく短縮する。
• SGD_MABSは、均一サンプリングのS2GDに比べて収束が10倍速く、均一サンプリングの準ニュートン法に比べて最適値に13.6倍近い。
• MABSはロバスト性を向上させる：SGD_MABSはステップサイズ $ \gamma = 5 $ まで安定に保たれるが、均一または重要度サンプリングのSGDは $ \gamma = 0.5 $ で発散する。
• 標準的なSGDに比べて訓練時間はわずか10%増加にとどまるが、$ p \sim G_i $ の重要度サンプリングは40%増加し、$ p \sim L_i $ は実行が完了しないため遅すぎる。
• MABSは、SAGA や Prox-SVRG における分散低減技術と組み合わせた場合でさえ、すべてのテストされたアルゴリズムとデータセットで他のサンプリング手法を上回る。