[논문 리뷰] Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization

Xiyu Yu, Dacheng Tao|arXiv (Cornell University)|2016. 06. 02.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 부드러운 비볼록 함수와 단순한 프록시 매핑을 가진 일반적인 정규화항의 합으로 이루어진 비볼록 복합 최적화 문제를 위한 분산 감소 프록시 스토하스틱 경사하강법—prox-SVRG 및 prox-SAGA—를 제안한다. 일정한 스텝 사이즈를 사용할 경우, 두 방법 모두 $O(1/ε)$ 반복 내에 정류점에 수렴하며, 이는 최신 기술인 RSAG 방법과 동일하고 표준 스토하스틱 경사하강법보다 뛰어나다.

ABSTRACT

Here we study non-convex composite optimization: first, a finite-sum of smooth but non-convex functions, and second, a general function that admits a simple proximal mapping. Most research on stochastic methods for composite optimization assumes convexity or strong convexity of each function. In this paper, we extend this problem into the non-convex setting using variance reduction techniques, such as prox-SVRG and prox-SAGA. We prove that, with a constant step size, both prox-SVRG and prox-SAGA are suitable for non-convex composite optimization, and help the problem converge to a stationary point within $O(1/ε)$ iterations. That is similar to the convergence rate seen with the state-of-the-art RSAG method and faster than stochastic gradient descent. Our analysis is also extended into the min-batch setting, which linearly accelerates the convergence. To the best of our knowledge, this is the first analysis of convergence rate of variance-reduced proximal stochastic gradient for non-convex composite optimization.

연구 동기 및 목표

• 비볼록 복합 최적화 문제에 분산 감소 프록시 스토하스틱 경사하강법을 확장한다.
• 비볼록성 가정 하에 prox-SVRG 및 prox-SAGA의 수렴 속도를 분석한다.
• 이러한 방법들이 일정한 스텝 사이즈를 사용할 경우 $O(1/\varepsilon)$ 반복 내에 정류점에 수렴함을 확립한다.
• 선형 수렴 가속을 위해 최소 배치(min-batch) 설정으로 분석을 확장한다.
• 비볼록 복합 설정에서 분산 감소 프록시 스토하스틱 경사하강법에 대한 첫 이론적 수렴 속도 보장을 제공한다.

제안 방법

• 비볼록 유한합 성분과 단순한 프록시 매핑을 가진 일반적인 정규화항을 처리할 수 있도록 prox-SVRG 및 prox-SAGA 알고리즘을 수정한다.
• 분산 감소 기법을 사용하여 기울기 추정치를 안정화하고 비볼록 환경에서의 수렴을 향상시킨다.
• 정류점에 수렴을 보장하기 위해 일정한 스텝 사이즈를 사용한다.
• 최소 배치(min-batch) 설정으로 프레임워크를 확장하여 수렴 속도를 선형적으로 가속화한다.
• 기존의 프록시 경사하강 프레임워크를 활용하고 비볼록 목표 함수에 분산 감소 메커니즘을 통합한다.
• 각 반복에서 목적 함수 값의 기대 감소를 분석하여 정류점에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 prox-SVRG 및 prox-SAGA는 비볼록 복합 최적화 문제에 효과적으로 확장될 수 있는가?
• RQ2 분산 감소 프록시 스토하스틱 경사하강법의 비볼록 설정에서의 수렴 속도는 무엇인가?
• RQ3 일정한 스텝 사이즈를 사용할 경우 비볼록 복합 문제에서 여전히 정류점에 수렴하는가?
• RQ4 최소 배치 버전은 단일 샘플 버전에 비해 수렴 속도를 어떻게 향상시키는가?
• RQ5 이러한 방법의 수렴 속도는 비볼록 설정에서 최신 기술인 RSAG 방법과 비교해 유사한가?

주요 결과

• 제안된 prox-SVRG 및 prox-SAGA 방법은 일정한 스텝 사이즈를 사용할 경우 비볼록 복합 최적화 문제에서 $O(1/\varepsilon)$ 반복 내에 정류점에 수렴한다.
• 수렴 속도는 최신 기술인 RSAG 방법과 동일하며, 표준 스토하스틱 경사하강법보다 뛰어나다.
• 최소 배치 버전은 수렴 속도를 선형적으로 가속화하여 확장성과 효율성을 향상시킨다.
• 분석을 통해 비볼록 복합 설정에서 분산 감소 프록시 스토하스틱 경사하강법에 대한 첫 이론적 수렴 속도 보장을 확립한다.
• 정규화항이 단순한 프록시 매핑을 허용하는 한, 개별 성분이 비볼록일 경우에도 이 방법들은 효과적이다.