[논문 리뷰] Nonasymptotic analysis of Stochastic Gradient Hamiltonian Monte Carlo under local conditions for nonconvex optimization

Ömer Deniz Akyıldız, Sotirios Sabanis|arXiv (Cornell University)|2020. 02. 13.

Markov Chains and Monte Carlo Methods참고 문헌 32인용 수 11

한 줄 요약

이 논문은 비볼록 최적화에서 국소 조건 하에 Stochastic Gradient Hamiltonian Monte Carlo (SGHMC)에 대한 점근적이지 않은 분석을 제시하며, 반복 횟수에 관계없이 Wasserstein-2 거리에서 $\eta^{1/4}$의 속도로 균일 수렴성을 확립한다. 분석은 SGHMC가 글로벌 최적화 도구로서 최고의 알려진 수렴 속도를 제공하며, 베이지안 추론과 일반화에 대한 점근적이지 않은 경계를 도출한다.

ABSTRACT

We provide a nonasymptotic analysis of the convergence of the stochastic gradient Hamiltonian Monte Carlo (SGHMC) to a target measure in Wasserstein-2 distance without assuming log-concavity. Our analysis quantifies key theoretical properties of the SGHMC as a sampler under local conditions which significantly improves the findings of previous results. In particular, we prove that the Wasserstein-2 distance between the target and the law of the SGHMC is uniformly controlled by the step-size of the algorithm, therefore demonstrate that the SGHMC can provide high-precision results uniformly in the number of iterations. The analysis also allows us to obtain nonasymptotic bounds for nonconvex optimization problems under local conditions and implies that the SGHMC, when viewed as a nonconvex optimizer, converges to a global minimum with the best known rates. We apply our results to obtain nonasymptotic bounds for scalable Bayesian inference and nonasymptotic generalization bounds.

연구 동기 및 목표

• 로그-볼록성 가정 없이 비볼록 최적화에서 SGHMC의 점근적이지 않은 수렴 경계를 확립하기 위해.
• 국소 조건 하에서 SGHMC가 목표 측도로의 수렴을 Wasserstein-2 거리에서 정량화하기 위해.
• 비볼록 문제에서 확장 가능한 베이지안 추론과 일반화에 대한 점근적이지 않은 경계를 유도하기 위해.
• 국소 미분 가능성과 소산성 조건 하에서 SGHMC가 전역 최소점으로 수렴함을 보이며, 이때 최고의 알려진 수렴 속도를 확보하기 위해.

제안 방법

• 연속 시간 확산 과정과 그 오일러 이산화를 통해 SGHMC 알고리즘을 분석하고, 수치적 방법과 연속 동역학을 비교하기 위해 커플링 접근법을 사용한다.
• 두 과정인 수치적 방법과 연속 SDE의 시작 시간을 일치시켜 Wasserstein-2 거리에서 수축 원리를 적용한다.
• 시간 간격 기여도로 분해된 Wasserstein 거리의 새로운 분해를 사용하며, 각 기여도는 국소 기울기 조건에서 유도된 수축 계수로 유계화된다.
• 모멘트 경계와 소산성 가정을 적용하여 과정의 성장 억제를 위해, 유한한 네 번째 모멘트와 균일한 안정성을 확보한다.
• Chau와 Rásonyi(2022)의 결과와 보조정리 5.4를 활용하여 SGHMC의 법칙과 목표 측도 사이의 거리를 유계화한다.
• Wasserstein 거리와 기울기 리프시츠 상수를 사용하여 잠재 함수의 차이 $\mathbb{E}[U(\theta_n^\eta)] - \mathbb{E}[U(\theta_\infty)]$에 대한 점근적이지 않은 경계를 유도한다.

실험 결과

연구 질문

• RQ1 로그-볼록성이 없더라도 비볼록 잠재 함수에서 SGHMC가 반복 횟수에 관계없이 균일한 점근적이지 않은 수렴을 Wasserstein-2 거리에서 달성할 수 있는가?
• RQ2 국소 조건 하에서 SGHMC가 글로벌 최적화 도구로 사용될 때 최적의 수렴 속도는 무엇인가?
• RQ3 SGHMC 수렴 속도로부터 비볼록 문제에서의 베이지안 추론과 일반화에 대한 점근적이지 않은 경계를 어떻게 도출할 수 있는가?
• RQ4 국소 미분 가능성과 소산성 조건 하에서 반복 횟수에 대한 의존성을 수렴 속도에서 제거할 수 있는가?

주요 결과

• SGHMC의 법칙과 목표 측도 사이의 Wasserstein-2 거리는 반복 횟수에 관계없이 $C_2^* \eta^{1/4}$로 균일하게 유계화된다.
• 국소 조건 하에서 비볼록 최적화에서 SGHMC의 수렴 속도 $\eta^{1/4}$는 현재까지 알려진 바 중 가장 빠른 속도이다.
• 분석은 SGHMC 수렴 속도를 기반으로 베이지안 추론과 일반화에 대한 점근적이지 않은 경계를 확립한다.
• 시간 이산화된 커플링 접근법과 수축 추정을 통해 Wasserstein 거리에 대한 균일한 제어를 달성한다.
• 경계 상수는 차원 $d$에 대해 $\mathcal{O}(e^d)$로 의존하며, 문제의 고차원성에 기인한다.
• 잠재 함수의 차이는 $\mathbb{E}[U(\theta_n^\eta)] - \mathbb{E}[U(\theta_\infty)] \leq (\overline{L}_1 C_m + h_0)(C_1^* d^{1/2} \eta^{1/2} + C_2^* \eta^{1/4} + C_3^* e^{-C_4^* \eta n})$를 만족하며, 이는 전역 수렴을 확인한다.