[論文レビュー] Trading-off variance and complexity in stochastic gradient descent

Vatsal Shah, Megasthenis Asteris+2 more|arXiv (Cornell University)|Mar 22, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用数 8

ひとこと要約

この論文は、大規模な機械学習のための分散還元最適化手法であるCheapSVRGを提案する。SVRGにおける全勾配計算を、小さなデータサブセット上で推定される計算コストが低い代替勾配に置き換える。1イテレーションあたりの計算量と収束速度のトレードオフを図ることで、問題に依存する誤差フロアまで線形収束を達成し、vanilla SGDを上回り、SVRGと同等の性能を発揮しながらも、1エポックあたりの計算コストを削減する。

ABSTRACT

Stochastic gradient descent is the method of choice for large-scale machine learning problems, by virtue of its light complexity per iteration. However, it lags behind its non-stochastic counterparts with respect to the convergence rate, due to high variance introduced by the stochastic updates. The popular Stochastic Variance-Reduced Gradient (SVRG) method mitigates this shortcoming, introducing a new update rule which requires infrequent passes over the entire input dataset to compute the full-gradient. In this work, we propose CheapSVRG, a stochastic variance-reduction optimization scheme. Our algorithm is similar to SVRG but instead of the full gradient, it uses a surrogate which can be efficiently computed on a small subset of the input data. It achieves a linear convergence rate ---up to some error level, depending on the nature of the optimization problem---and features a trade-off between the computational complexity and the convergence rate. Empirical evaluation shows that CheapSVRG performs at least competitively compared to the state of the art.

研究の動機と目的

• 大規模な機械学習における、SVRGのような分散還元手法における全勾配計算の高い1イテレーションあたりの計算コストを軽減すること。
• 全勾配を効率的な代替勾配に置き換えることで、計算複雑度と収束速度のバランスを取った確率的最適化手法を設計すること。
• 滑らかで凸的かつ分離可能な最適化問題において、線形収束の理論的保証を提供すること。
• 実験的に、最先端の手法と比較して、計算オーバーヘッドを低減しつつ競争力のある性能を達成することを検証すること。

提案手法

• CheapSVRGは、SVRGと同様にエポックに分けて最適化を実行するが、各エポックの開始時に、固定サイズの小さなデータサブセットでのみ勾配の代替全勾配を計算する。
• 各エポック内では、代替勾配と個々のデータポイントからの確率的勾配を組み合わせた修正された更新ルールを用いて、確率的勾配ステップを実行する。
• 外側（代替）と内側（確率的）のループにおける勾配計算予算の割り当てを制御する調整可能なパラメータ「perc」を導入する。
• 代替勾配は、サイズsのランダムなサブセット上の勾配の平均として計算され、全勾配推定の計算コストをO(n)からO(s)に削減する。
• 代替勾配が真の全勾配のバイアス付きだが制御された推定であることを保証することで、収束保証を維持する。
• ステップサイズは、個々の関数のリプシッツ定数に基づき、SVRGおよび関連手法で一般的に採用されている手法に従って適応的に設定される。

実験結果

リサーチクエスチョン

• RQ1 小さなデータサブセット上で計算された代替勾配が、SVRGにおける全勾配の代わりに機能し、線形収束を維持できるか？
• RQ2 代替勾配のサイズと収束速度のトレードオフが、分散還元確率的最適化の性能にどのように影響するか？
• RQ3 CheapSVRGは、vanilla SGDよりも高速に収束するが、1エポックあたりの計算複雑度は低く保たれるか？
• RQ4 CheapSVRGは、代替勾配のサイズや外側・内側ループへの予算割り当ての選択にどれほど敏感か？
• RQ5 大規模な設定において、CheapSVRGは顕著に低い計算コストでSVRGと同等の性能を達成できるか？

主な発見

• CheapSVRGは、問題構造と代替勾配の品質に依存するが、最適解の定数近傍まで期待値において線形収束を達成する。
• 実験結果から、合成データおよび実世界のデータセット（線形回帰およびℓ₂正則化付きロジスティック回帰を含む）において、CheapSVRGはSVRGと同等以上に性能を発揮することが示された。
• ℓ₂正則化付きロジスティック回帰において、s=1またはs=10の代替勾配を使用した場合、最小限の代替計算でも解への進行が安定しており、1エポックあたりの計算複雑度が低減された。
• 予算割り当てパラメータ「perc」に敏感であることが判明した。内側ループに90％の予算を割り当てた場合、CheapSVRGは発散するが、SVRGは発散しない。
• ノイズのないおよび低ノイズの設定では、CheapSVRGはvanilla SGDよりも高速に収束し、1エポックあたりの計算コストが低いにもかかわらず、SVRGの性能を模倣または上回った。
• 代替勾配がバイアス付き推定であっても、アルゴリズムは収束を維持しており、勾配代替の近似誤差に対してもロバストであることが示された。