[논문 리뷰] Linear Convergence of Variance-Reduced Projected Stochastic Gradient without Strong Convexity.

Pinghua Gong, Jieping Ye|arXiv (Cornell University)|2014. 06. 04.

Stochastic Gradient Optimization Techniques인용 수 12

한 줄 요약

이 논문은 분산 감소 프로젝션 스토하스틱 그래디언트(VRPSG)를 소개하고, 머신러닝에서 흔한 비강력 볼록 최적화 문제에 대해 선형 수렴를 확립한다. 저자들은 새로운 반강력 볼록(SSC) 부등식을 증명함으로써, VRPSG와 Prox-SVRG가 강력 볼록성 조건 없이도 선형 수렴를 보임을 보이며, 이는 제약 조건과 정규화 설정 모두에서 처음으로 이뤄진 결과이다.

ABSTRACT

Stochastic gradient algorithms estimate the gradient based on only one or a few samples and enjoy low computational cost per iteration. They have been widely used in large-scale optimization problems. However, stochastic gradient algorithms are usually slow to converge and achieve sub-linear convergence rates, due to the inherent variance in the gradient computation. To accelerate the convergence, some variance-reduced stochastic gradient algorithms, e.g., proximal stochastic variance-reduced gradient (Prox-SVRG) algorithm, have recently been proposed to solve strongly convex problems. Under the strongly convex condition, these variance-reduced stochastic gradient algorithms achieve a linear convergence rate. However, many machine learning problems are convex but not strongly convex. In this paper, we introduce Prox-SVRG and its projected variant called Variance-Reduced Projected Stochastic Gradient (VRPSG) to solve a class of non-strongly convex optimization problems widely used in machine learning. As the main technical contribution of this paper, we show that both VRPSG and Prox-SVRG achieve a linear convergence rate without strong convexity. A key ingredient in our proof is a Semi-Strongly Convex (SSC) inequality which is the first to be rigorously proved for a class of non-strongly convex problems in both constrained and regularized settings. Moreover, the SSC inequality is independent of algorithms and may be applied to analyze other stochastic gradient algorithms besides VRPSG and Prox-SVRG, which may be of independent interest. To the best of our knowledge, this is the first work that establishes the linear convergence rate for the variance-reduced stochastic gradient algorithms on solving both constrained and regularized problems without strong convexity.

연구 동기 및 목표

• 기존의 분산 감소 스토하스틱 그래디언트 방법이 선형 수렴를 달성하기 위해 강력 볼록성 조건을 필요로 하는 한계를 해결하고자 한다.
• 머신러닝 응용에서 흔한 비강력 볼록 문제로까지 선형 수렴 보장을 확장하고자 한다.
• 강력 볼록성 없이도 제약 조건과 정규화 최적화에서 선형 수렴를 보장하는 이론적 프레임워크를 개발하고자 한다.
• 비강력 볼록 문제에 대한 핵심 분석 도구로 반강력 볼록(SSC) 부등식을 도입하고 철저히 증명하고자 한다.

제안 방법

• 제약 최적화 문제를 해결하기 위해 Prox-SVRG의 프로젝션 변형인 분산 감소 프로젝션 스토하스틱 그래디언트(VRPSG)를 제안한다.
• 비강력 볼록 문제의 일군의 클래스에 대해 성립하는 새로운 이론적 조건인 반강력 볼록(SSC) 부등식을 도입한다.
• SSC 부등식이 강력 볼록성 없이도 VRPSG와 Prox-SVRG의 선형 수렴를 가능하게 함을 증명한다.
• 알고리즘 설계에 관계없이 각 반복 단계에서의 알고리즘 진전을 제한하는 핵심 분석 도구로 SSC 부등식을 사용한다.
• 정규화 및 제약 최적화 설정 모두에 SSC 조건를 적용하여 광범위한 적용 가능성을 입증한다.
• SSC 조건 하에서 기대 최적성 오차가 지수적으로 감소함을 보여, 수렴 속도가 선형임을 증명한다.

실험 결과

연구 질문

• RQ1 분산 감소 스토하스틱 그래디언트 방법은 비강력 볼록 문제에서 선형 수렴를 달성할 수 있는가?
• RQ2 강력 볼록성 없이도 선형 수렴를 가능하게 하는 이론적 조건은 무엇인가?
• RQ3 반강력 볼록(SSC) 부등식은 비강력 볼록 문제에 대해 타당하고 일반화 가능한 조건인가?
• RQ4 SSC 부등식은 VRPSG와 Prox-SVRG를 초월한 다른 스토하스틱 그래디언트 알고리즘을 분석하는 데 사용될 수 있는가?
• RQ5 제안된 VRPSG 방법은 강력 볼록성 없이도 제약 조건과 정규화 설정 모두에서 선형 수렴를 유지하는가?

주요 결과

• VRPSG는 이전까지 증명되지 않은 비강력 볼록 문제에 대해 선형 수렴를 달성한다.
• 제안된 반강력 볼록(SSC) 부등식은 엄밀히 증명되었으며, 광범위한 비강력 볼록 문제의 클래스에 대해 성립한다.
• SSC 부등식은 최적화 알고리즘과 독립적이며, 다른 스토하스틱 그래디언트 방법의 분석에 적용될 수 있다.
• 강력 볼록성 조건 없이도 제약 조건과 정규화 최적화 문제 모두에 대해 선형 수렴 속도가 확립된다.
• 이 작업은 비강력 볼록 설정에서 분산 감소 스토하스틱 그래디언트 알고리즘의 선형 수렴를 처음으로 입증한 것이다.
• SSC를 기반으로 한 이론적 프레임워크는 대규모 머신러닝 문제에서 수렴 분석을 위한 새로운 길을 열어준다.