[논문 리뷰] Global Convergence of Langevin Dynamics Based Algorithms for Nonconvex Optimization

Pan Xu, Jinghui Chen외 2명|arXiv (Cornell University)|2017. 07. 20.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 86

한 줄 요약

비점근적(nonasymptotic) 분석을 통해 GLD, SGLD, 및 SVRG-LD에 대한 글로벌 수렴 보장을 비볼록 비정합 유한합 최적화에서 제시하고, 거의 최소점에 도달하기 위한 gradient 복잡도를 개선한다.

ABSTRACT

We present a unified framework to analyze the global convergence of Langevin dynamics based algorithms for nonconvex finite-sum optimization with $n$ component functions. At the core of our analysis is a direct analysis of the ergodicity of the numerical approximations to Langevin dynamics, which leads to faster convergence rates. Specifically, we show that gradient Langevin dynamics (GLD) and stochastic gradient Langevin dynamics (SGLD) converge to the almost minimizer within $\ ilde O\\big(nd/(\\lambda\\epsilon) \\big)$ and $\ ilde O\\big(d^7/(\\lambda^5\\epsilon^5) \\big)$ stochastic gradient evaluations respectively, where $d$ is the problem dimension, and $\\lambda$ is the spectral gap of the Markov chain generated by GLD. Both results improve upon the best known gradient complexity results (Raginsky et al., 2017). Furthermore, for the first time we prove the global convergence guarantee for variance reduced stochastic gradient Langevin dynamics (SVRG-LD) to the almost minimizer within $\ ilde O\\big(\\sqrt{n}d^5/(\\lambda^4\\epsilon^{5/2})\\big)$ stochastic gradient evaluations, which outperforms the gradient complexities of GLD and SGLD in a wide regime. Our theoretical analyses shed some light on using Langevin dynamics based algorithms for nonconvex optimization with provable guarantees.

연구 동기 및 목표

• 비점근적 유한합 최적화에서 Langevin 다이나믹스 기반 알고리즘의 글로벌 수렴 동기를 제시하고 분석한다.
• 이산화된 Langevin 다이나믹스의 ergodicity를 직접 분석하는 통합 오차 분해 프레임워크를 개발한다.
• GLD, SGLD, 및 SVRG-LD에 대해 거의 최적점으로의 명시적 수렴을 확립하고 반복/gradient 복잡도를 정량화한다.

제안 방법

• 비볼록 유한합 F_n(x)=1/n sum f_i(x)를 모델링한다.
• Gaussian 잡음을 포함한 Euler-Maruyama 이산화로 update를 통해 gradient Langevin dynamics (GLD)를 연구한다.
• 미니배치를 활용한 stochastic gradient Langevin dynamics (SGLD)를 적용한다.
• 분산 감소를 사용하는 semi-확률적 gradient를 이용한 SVRG-LD를 도입한다.
• 최적화 오차를 (i) 이산화 ergodicity 간격에서 정상분포로의 간격, (ii) 정상분포 간의 간격, (iii) 전역 최소점 근방의 Gibbs concentration으로 분해한다.
• 각 알고리즘에 대해 비점근적 경계 및 반복/gradient 복잡도를 유도한다.

실험 결과

연구 질문

• RQ1 GLD, SGLD, 및 SVRG-LD가 비볼록 유한합 목표에 대해 글로벌 수렴 보장을 달성할 수 있는가?
• RQ2 이 Langevin 기반 방법들이 거의 최적점에 도달하기 위한 명시적 비점근적 반복/gradient 복잡도 비율은 무엇인가?
• RQ3 이산화 오차와 ergodicity가 비볼록 설정에서 글로벌 최소점으로의 수렴에 어떤 영향을 미치는가?
• RQ4 분산 감소(SVRG-LD)가 표준 GLD/SGLD 대비 수렴 보장 측면에서 어떤 차이가 있는가?

주요 결과

• GLD는 거의 최적점으로 수렴하며 ���rac{d}{\tilde{\lambda}\epsilon} 회 반복까지의 정밀도에서 수렴한다.
• SGLD는 거의 최적점에 도달하는 데 ���rac{d^7}{\tilde{\lambda}^5\epsilon^5} 확률적 기울기 평가를 필요로 한다.
• SVRG-LD는 거의 최적점에 수렴하는 데 ���rac{\sqrt{n} d^5}{\tilde{\lambda}^4\epsilon^{5/2}} 확률적 기울기 평가가 필요하며, 광범위한 영역에서 GLD/SGLD를 능가한다.
• SVRG-LD는 특정 영역에서 ���rac{n d}{\epsilon} 이상의 gradient 복잡도로 비볼록 유한합 최적화에 대한 최초의 글로벌 수렴 보장을 제공한다.
• 이전 연구에 비해 반복 복잡도를 단축하고 SVRG-LD에 대한 글로벌 수렴 보장을 확립한다.
• 해석은 ergodicity, Poisson 방정식 경계, Gibbs concentration 간의 연결을 통해 구체적인 비점근적 보장을 제공한다.