[논문 리뷰] Linear Convergence of Variance-Reduced Stochastic Gradient without Strong Convexity

Pinghua Gong, Jieping Ye|arXiv (Cornell University)|2014. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 28

한 줄 요약

이 논문은 기계학습에서 흔한 비강한볼록 문제에 대해 분산감소 확률적 경사하강법—특히 VRPSG와 Prox-SVRG—의 선형 수렴를 확립한다. 주요 기술적 기여는 강한 볼록성 없이도 선형 수렴를 가능하게 하는 새로운 반강한볼록( Semi-Strongly Convex, SSC) 부등식을 제안하는 것이다. 이는 제약 조건이 있는 경우와 정규화가 있는 경우 모두 적용 가능하다.

ABSTRACT

Stochastic gradient algorithms estimate the gradient based on only one or a few samples and enjoy low computational cost per iteration. They have been widely used in large-scale optimization problems. However, stochastic gradient algorithms are usually slow to converge and achieve sub-linear convergence rates, due to the inherent variance in the gradient computation. To accelerate the convergence, some variance-reduced stochastic gradient algorithms, e.g., proximal stochastic variance-reduced gradient (Prox-SVRG) algorithm, have recently been proposed to solve strongly convex problems. Under the strongly convex condition, these variance-reduced stochastic gradient algorithms achieve a linear convergence rate. However, many machine learning problems are convex but not strongly convex. In this paper, we introduce Prox-SVRG and its projected variant called Variance-Reduced Projected Stochastic Gradient (VRPSG) to solve a class of non-strongly convex optimization problems widely used in machine learning. As the main technical contribution of this paper, we show that both VRPSG and Prox-SVRG achieve a linear convergence rate without strong convexity. A key ingredient in our proof is a Semi-Strongly Convex (SSC) inequality which is the first to be rigorously proved for a class of non-strongly convex problems in both constrained and regularized settings. Moreover, the SSC inequality is independent of algorithms and may be applied to analyze other stochastic gradient algorithms besides VRPSG and Prox-SVRG, which may be of independent interest. To the best of our knowledge, this is the first work that establishes the linear convergence rate for the variance-reduced stochastic gradient algorithms on solving both constrained and regularized problems without strong convexity.

연구 동기 및 목표

• 비강한볼록 문제에 대해 분산감소 확률적 경사하강법의 수렴 보장에 대한 격차를 메우기 위해.
• 제약 조건이 있는 경우와 정규화가 있는 경우 모두 VRPSG와 Prox-SVRG의 선형 수렴를 확립하기 위해.
• 비강한볼록 문제에 대해 성립하는 새로운 반강한볼록( Semi-Strongly Convex, SSC) 부등식을 개발하고 엄밀히 증명하기 위해.
• SSC 부등식이 알고리즘에 종속되지 않으며 다른 확률적 경사하강법에 적용 가능할 수 있음을 보여주기 위해.
• 최소 제곱법과 로지스틱 회귀와 같은 실질적인 기계학습 문제에서 선형 수렴가능성을 이론적으로 정당화하기 위해. 이러한 문제들은 종종 강한 볼록성이 아니다.

제안 방법

• 비강한볼록 문제에 적합한 분산감소 투영 확률적 경사하강(VRPSG) 및 Prox-SVRG 알고리즘을 제안한다.
• 강한 볼록성이 없더라도 최적 해 집합까지의 거리를 목적 함수 갭으로 상한화하는 새로운 반강한볼록( Semi-Strongly Convex, SSC) 부등식을 도입한다.
• SSC 부등식을 활용해 약한 조건 하에서도 선형 수렴를 보장하는 재귀 오차 경계를 유도한다.
• SSC 부등식을 제약 조건이 있는 문제(투영을 통한)와 정규화가 있는 문제(프록시 스텝을 통한)에 모두 적용한다.
• 단계 크기와 내부 루프 파라미터를 고려해 목적 함수 갭의 기대 감소를 분석함으로써 수렴 속도를 유도한다.
• 수렴 효율성을 향상시키기 위해 리프시츠 상수 비례하는 비균일 샘플링을 도입하였으며, 이는 실증적으로도 검증되었다.

실험 결과

연구 질문

• RQ1 분산감소 확률적 경사하강법이 강한 볼록성 조건 없이도 선형 수렴를 달성할 수 있는가?
• RQ2 비강한볼록 설정에서 선형 수렴를 가능하게 하는 새로운 구조적 조건은 무엇인가?
• RQ3 반강한볼록( Semi-Strongly Convex, SSC) 부등식은 제약 조건이 있는 경우와 정규화가 있는 경우 모두 유효하고 증명 가능하게 유용한가?
• RQ4 실제로 VRPSG의 성능은 샘플링 전략, 내부 루프 길이, 단계 크기에 어떻게 영향을 받는가?
• RQ5 SSC 부등식은 VRPSG와 Prox-SVRG 이외의 다른 확률적 경사하강 알고리즘 분석에 활용될 수 있는가?

주요 결과

• VRPSG와 Prox-SVRG는 이전까지 강한 볼록성 조건 하에서만 알려져 있던 비강한볼록 문제에 대해 선형 수렴 속도를 달성한다.
• 반강한볼록( Semi-Strongly Convex, SSC) 부등식은 제약 조건이 있는 경우와 정규화가 있는 경우 모두 비강한볼록 문제의 일정한 클래스에 대해 엄밀히 증명되었다.
• SSC 부등식은 목적 함수 갭을 통해 최적 해 집합까지의 거리에 대한 상한을 제공하여 선형 수렴 분석이 가능하게 한다.
• 실증 결과에 따르면, 리프시츠 상수 비례하는 비균일 샘플링이 균일 샘플링보다 수렴 속도를 크게 향상시킨다.
• VRPSG 알고리즘은 단계 크기 선택에 대해 강건하며, 이론적 한계가 $η < 0.25/L_P$ 라는 조건을 요구하나, $η = 1/L_P$ 와 $η = 5/L_P$ 모두 빠른 수렴를 보였다.
• 내부 루프 길이 $m$ 을 $0.5n$ 또는 $n$ 으로 설정할 경우 가장 안정적인 성능을 보였으며, 이는 중간 값이 최적임을 시사한다.