[論文レビュー] A Proximal Stochastic Gradient Method with Progressive Variance Reduction

Lin Xiao, Tong Zhang|arXiv (Cornell University)|Mar 19, 2014

Stochastic Gradient Optimization Techniques参考文献 23被引用数 26

ひとこと要約

本稿では、大規模な正則化付き経験的リスク最小化問題を解くために、段階的分散低減を備えたプロキシマル確率的勾配法（Prox-SVRG）を提案する。反復的に勾配の分散を段階的に低減することで、標準的な確率的勾配法と同等の反復コストを維持しながら、最適解への幾何的収束を達成する。全体の複雑度において、プロキシマルフル勾配法および標準的なプロキシマル確率的勾配法を著しく上回る性能を発揮する。

ABSTRACT

We consider the problem of minimizing the sum of two convex functions: one is the average of a large number of smooth component functions, and the other is a general convex function that admits a simple proximal mapping. We assume the whole objective function is strongly convex. Such problems often arise in machine learning, known as regularized empirical risk minimization. We propose and analyze a new proximal stochastic gradient method, which uses a multi-stage scheme to progressively reduce the variance of the stochastic gradient. While each iteration of this algorithm has similar cost as the classical stochastic gradient method (or incremental gradient method), we show that the expected objective value converges to the optimum at a geometric rate. The overall complexity of this method is much lower than both the proximal full gradient method and the standard proximal stochastic gradient method.

研究の動機と目的

• 確率的勾配の分散が高いために生じる標準的なプロキシマル確率的勾配法の収束遅延を解消すること。
• 低コストの反復処理を維持しつつ、幾何的収束速度を達成する手法を開発すること。
• 非滑らかな正則化項に対してプロキシマル写像を用いて、分散低減技術を拡張すること。
• プロキシマルフル勾配法および標準的なプロキシマル確率的勾配法と比較して優れた性能を示す複雑度解析を提供すること。
• 成分関数の滑らかさが異なる場合に性能を向上させるために、重み付きサンプリングを組み込むこと。

提案手法

• 周期的な間隔でフル勾配のスナップショットを用いて、確率的勾配の分散を段階的に低減するマルチステージアルゴリズムを提案する。
• プロキシマル更新則を用いる：$ x_k = \mathrm{prox}_{\eta_k R}(x_{k-1} - \eta_k \nabla f_{i_k}(x_{k-1})) $。非滑らかな正則化に対し、確率的勾配ステップとプロキシマル写像を組み合わせる。
• 前回のフルパスからの勾配の累積平均を維持することで、制御変数技術を用い、確率的勾配推定の分散を低減する。
• 成分関数の滑らかさパラメータ $ L_i $ が異なる場合に収束を改善するための重み付きサンプリングスキームを導入する。
• 減少するステップサイズ $ \eta_k $ を適用し、$ \eta_k \leq 1/L $ を満たすことで、安定性と収束性を保証する。
• 全体の目的関数の強凸性を用いた収束解析を行い、期待値における幾何的収束率を導出する。

実験結果

リサーチクエスチョン

• RQ1 反復コストを増加させることなく、確率的勾配の分散を段階的に低減することで、幾何的収束を達成できるか？
• RQ2 プロキシマルフル勾配法および標準的なプロキシマル確率的勾配法と比較して、本手法の複雑度はどのように異なるか？
• RQ3 成分関数の滑らかさが不均一な場合に、重み付きサンプリングが収束を改善できるか？
• RQ4 強凸性およびリプシッツ勾配仮定の下で、本手法の理論的収束速度は何か？
• RQ5 より高速なグローバル収束を達成しつつ、反復あたりの計算コストを低く維持できるか？

主な発見

• 提案されたProx-SVRG手法は、標準的なプロキシマル確率的勾配法が示す部分線形収束とは異なり、期待値における幾何的（線形）収束速度を達成する。
• Prox-SVRGの全体的な反復複雑度は、プロキシマルフル勾配法および標準的なプロキシマル確率的勾配法よりも顕著に低い。
• 有利な状況ではSDCAおよびSAGと同等の複雑度を達成するが、より広範な問題クラスに適用可能であり、各成分の勾配を保存する必要がない。
• 重み付きサンプリングを導入することで、成分関数の滑らかさが不均一な問題に対して、改善された複雑度バウンドが得られる。
• 収束速度は幾何的であり、誤差が $ \left(\frac{1 - \eta \mu_F}{1 + \eta \mu_R}\right)^k $ のように減少する。ここで $ \mu_F $ および $ \mu_R $ はそれぞれ $ F $ と $ R $ の凸性パラメータである。
• 反復あたりの計算コストを標準的な確率的勾配法と同等に低く維持しつつ、優れたグローバル収束性能を達成する。