[論文レビュー] Linear Convergence of Variance-Reduced Projected Stochastic Gradient without Strong Convexity.

Pinghua Gong, Jieping Ye|arXiv (Cornell University)|Jun 4, 2014

Stochastic Gradient Optimization Techniques被引用数 12

ひとこと要約

本稿では、分散低減型投影確率勾配（VRPSG）を導入し、機械学習で一般的な非強い凸最適化問題において線形収束を確立する。著者らは、新たな準強い凸（SSC）不等式を証明することで、VRPSGおよびProx-SVRGが強い凸性を仮定しなくても線形収束することを示し、制約付きおよび正則化付き設定において、両者で初めてこの結果を得た。

ABSTRACT

Stochastic gradient algorithms estimate the gradient based on only one or a few samples and enjoy low computational cost per iteration. They have been widely used in large-scale optimization problems. However, stochastic gradient algorithms are usually slow to converge and achieve sub-linear convergence rates, due to the inherent variance in the gradient computation. To accelerate the convergence, some variance-reduced stochastic gradient algorithms, e.g., proximal stochastic variance-reduced gradient (Prox-SVRG) algorithm, have recently been proposed to solve strongly convex problems. Under the strongly convex condition, these variance-reduced stochastic gradient algorithms achieve a linear convergence rate. However, many machine learning problems are convex but not strongly convex. In this paper, we introduce Prox-SVRG and its projected variant called Variance-Reduced Projected Stochastic Gradient (VRPSG) to solve a class of non-strongly convex optimization problems widely used in machine learning. As the main technical contribution of this paper, we show that both VRPSG and Prox-SVRG achieve a linear convergence rate without strong convexity. A key ingredient in our proof is a Semi-Strongly Convex (SSC) inequality which is the first to be rigorously proved for a class of non-strongly convex problems in both constrained and regularized settings. Moreover, the SSC inequality is independent of algorithms and may be applied to analyze other stochastic gradient algorithms besides VRPSG and Prox-SVRG, which may be of independent interest. To the best of our knowledge, this is the first work that establishes the linear convergence rate for the variance-reduced stochastic gradient algorithms on solving both constrained and regularized problems without strong convexity.

研究の動機と目的

• 既存の分散低減型確率勾配法が線形収束を達成するためには強い凸性を要することの制限を是正すること。
• 機械学習応用で広く見られる非強い凸問題に線形収束の保証を拡張すること。
• 強い凸性を仮定しない制約付きおよび正則化付き最適化における線形収束を理論的に支持する枠組みを構築すること。
• 非強い凸問題における線形収束を可能にする主要な分析的ツールとして、準強い凸（SSC）不等式を導入し、厳密に証明すること。

提案手法

• 制約付き最適化問題を解くために、Prox-SVRGの投影変種を提案し、これを分散低減型投影確率勾配（VRPSG）と呼ぶ。
• 非強い凸問題のクラスに対して成り立つ新たな理論的条件「準強い凸（SSC）不等式」を導入する。
• SSC不等式が、強い凸性がなくてもVRPSGおよびProx-SVRGの線形収束を可能にすることを確立する。
• アルゴリズム設計に依存しない各反復におけるアルゴリズムの進捗を制御するための核心的分析的ツールとしてSSC不等式を用いる。
• 正則化および制約付き最適化設定の両方に対してSSC条件を適用し、広範な適用可能性を示す。
• SSC条件の下で期待される最適でない度が指数的に減少することを示し、収束速度が線形であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 分散低減型確率勾配法は、非強い凸問題においても線形収束を達成できるか？
• RQ2 強い凸性が欠如する状況で線形収束を可能にする理論的条件は何か？
• RQ3 準強い凸（SSC）不等式は、非強い凸問題に対して有効かつ一般化可能であるか？
• RQ4 SSC不等式は、VRPSGおよびProx-SVRGを超える他の確率勾配アルゴリズムの解析にも利用可能か？
• RQ5 提案されたVRPSG法は、強い凸性を仮定せずに、制約付きおよび正則化付き設定の両方で線形収束を維持できるか？

主な発見

• VRPSGは、従来このクラスの問題に対して未証明であった非強い凸問題においても線形収束を達成する。
• 提案された準強い凸（SSC）不等式は厳密に証明され、広範な非強い凸問題のクラスに対して成り立つ。
• SSC不等式は最適化アルゴリズムに依存せず、他の確率勾配法の解析にも応用可能である。
• 強い凸性を要件とせず、制約付きおよび正則化付き最適化問題の両方で線形収束率が確立された。
• 本研究は、非強い凸設定における分散低減型確率勾配アルゴリズムの線形収束を初めて示した。
• SSCに基づく理論的枠組みは、大規模な機械学習問題における収束解析の新たな道筋を提供する。