[논문 리뷰] Fast Stochastic Methods for Nonsmooth Nonconvex Optimization

Sashank J. Reddi, Suvrit Sra외 2명|arXiv (Cornell University)|2016. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 37

한 줄 요약

이 논문은 비연속 비볼록 유한합 문제를 위한 새로운 확률적 알고리즘인 ProxSVRG와 ProxSAGA를 제안한다. 이 알고리즘들은 일정한 미니배치 크기를 사용하면서도 정류점으로의 증명 가능한 수렴성을 확보하며, ProxSGD와 비접속 경사하강법보다 수렴 속도와 실용적 성능에서 뛰어나다. 비음성 주성분 분석(NN-PCA) 작업에서 성능이 뛰어나다.

ABSTRACT

We analyze stochastic algorithms for optimizing nonconvex, nonsmooth finite-sum problems, where the nonconvex part is smooth and the nonsmooth part is convex. Surprisingly, unlike the smooth case, our knowledge of this fundamental problem is very limited. For example, it is not known whether the proximal stochastic gradient method with constant minibatch converges to a stationary point. To tackle this issue, we develop fast stochastic algorithms that provably converge to a stationary point for constant minibatches. Furthermore, using a variant of these algorithms, we show provably faster convergence than batch proximal gradient descent. Finally, we prove global linear convergence rate for an interesting subclass of nonsmooth nonconvex functions, that subsumes several recent works. This paper builds upon our recent series of papers on fast stochastic methods for smooth nonconvex optimization [22, 23], with a novel analysis for nonconvex and nonsmooth functions.

연구 동기 및 목표

• 비연속 비볼록 유한합 최적화를 위한 확률적 방법에 대한 이해 부족을 메우기.
• 일정한 미니배치 크기를 사용하는 프락시멀 확률적 알고리즘의 수렴성을 증명하며, 기존 ProxSGD에서는 아직 증명되지 않은 문제를 해결한다.
• 일정한 미니배치 크기를 유지하면서도 배치 프락시멀 경사하강법보다 더 빠른 수렴을 달성하는 방법을 개발한다.
• 비연속 비볼록 함수의 의미 있는 부분집합에 대해 전역 선형 수렴성을 확립한다.
• 비음성 주성분 분석 작업에서 변동성 감소 방법이 ProxSGD보다 실증적으로 뛰어나다는 것을 입증한다.

제안 방법

• SVRG와 SAGA의 프락시멀 변종인 ProxSVRG와 ProxSAGA를 제안하며, 비볼록 비연속 문제에 대해 변동성 감소를 통합한다.
• ProxSGD와 달리 확률적 경사 업데이트에 일정한 미니배치 크기를 사용한다.
• 계산 복잡도를 모델링하기 위해 일련의 일阶 오рак루(IFO)와 프락시멀 오라클(PO)을 활용한다.
• 제어 변수 기법을 도입하여 경사의 변동성을 감소시켜 일정한 미니배치 크기에서 안정적인 수렴을 가능하게 한다.
• ProxSVRG에서 정기적인 간격으로 전체 경사 계산을 수행하여 변동성을 낮춘다.
• ProxSGD가 요구하는 점점 줄어드는 스텝 크기와는 대조적으로, ProxSVRG와 ProxSAGA는 고정된 스텝 크기를 사용한다.

실험 결과

연구 질문

• RQ1 비연속 비볼록 문제에서 일정한 미니배치 크기를 사용할 때, 프락시멀 확률적 경사 하강 방법이 정류점으로 수렴할 수 있는가?
• RQ2 ProxSVRG와 ProxSAGA와 같은 변동성 감소 프락시멀 방법은 ProxSGD와 배치 프락시멀 경사하강법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ3 의미 있는 비연속 비볼록 함수의 부분집합에 대해 전역 선형 수렴이 가능할 수 있는가?
• RQ4 수렴 보장을 포기하지 않고도 실무에서 일정한 미니배치 크기를 효과적으로 사용할 수 있는가?
• RQ5 ProxSVRG와 ProxSAGA는 실제 비볼록 비연속 머신러닝 문제에서 ProxSGD와 어떻게 비교되는가?

주요 결과

• ProxSVRG와 ProxSAGA는 ϵ-최적화에 도달하기 위해 O(1/ϵ)의 IFO 복잡도와 O(1/ϵ)의 PO 복잡도를 달성하며, ProxSGD와 동일한 복잡도를 유지하지만 일정한 미니배치 크기를 사용한다.
• 제안된 방법들은 일정한 미니배치 크기에서 정류점으로 수렴함으로써, 비연속 비볼록 최적화 분야에서 핵심적인 열린 문제를 해결한다.
• ProxSVRG와 ProxSAGA는 배치 프락시멀 경사하강법보다 더 빠른 수렴을 달성하며, 반복 복잡도에서 증명 가능한 향상을 보인다.
• 비음성 주성분 분석(NN-PCA)에서의 실증 결과로, ProxSVRG와 ProxSAGA가 일정한 미니배치 크기에서 ProxSGD보다 목표 함수 값 감소에서 뛰어나다.
• ProxSGD보다 더 단순한 스텝 크기 조정이 필요하며, 고정된 스텝 크기가 뛰어난 성능을 낸다.
• 여러 데이터셋에서 ProxSVRG와 ProxSAGA 간에 유의미한 성능 차이를 관찰하지 못했으며, 이는 변동성 감소 접근법의 강건성을 시사한다.