[논문 리뷰] Is There an Analog of Nesterov Acceleration for MCMC?

Yi-An Ma, Niladri S. Chatterji외 4명|arXiv (Cornell University)|2019. 02. 04.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 44

한 줄 요약

논문은 과소댐드 Langevin 알고리즘이 KL 발산 하에서 확률 분포 공간에서 가속 경사 하강으로 작용하여 특정 조건에서 고전 Langevin보다 더 빠른 수렴 속도를 달성한다.

ABSTRACT

We formulate gradient-based Markov chain Monte Carlo (MCMC) sampling as optimization on the space of probability measures, with Kullback-Leibler (KL) divergence as the objective functional. We show that an underdamped form of the Langevin algorithm performs accelerated gradient descent in this metric. To characterize the convergence of the algorithm, we construct a Lyapunov functional and exploit hypocoercivity of the underdamped Langevin algorithm. As an application, we show that accelerated rates can be obtained for a class of nonconvex functions with the Langevin algorithm.

연구 동기 및 목표

• 확률 분포에 대한 최적화로서 KL 발산을 목적 함수로 사용하여 gradient-based MCMC를 형상화한다.
• 언더댄드 Langevin 다이나믹이 이 메트릭에서 가속 경사 하강을 구현함을 입증한다.
• Lyapunov 함수와 hypocoercivity를 통해 언더댄드 Langevin 과정의 수렴 보장을 확립한다.
• 로그-소벨 불평등하에서 특정 비볼록 타깃에 대해 가속 수렴 속도를 보인다.

제안 방법

• KL-그래디언트 흐름으로 확률분포 공간에서 MCMC 샘플링을 형상화한다.
• 확장 상태 공간에서 모멘텀을 가진 가속 경사 하강(AGD) 다이나믹을 도입하고 해당하는 언더댄드 Langevin SDE를 도출한다.
• 모멘텀과 위치를 결합하는 Lyapunov 함수(에) 구축하여 연속 시간에서 선형 수렴을 보인다(비율은 로그-소벨 상수와 관련된다).
• 가속을 보존하기 위한 고차(discretization) 스킴으로 AGD 다이내믹을 이산화하고 이산화 오차를 분석한다.
• 연속 AGD를 이산적 언더댄드 Langevin 알고리즘과 연결하고 스텝-사이즈 가이드를 제공한다.
• 모멘텀 재샘플링을 모멘텀 재시작과의 연결 및 HMC와의 연결을 논의한다.

실험 결과

연구 질문

• RQ1 그래디언트 기반 MCMC 알고리즘에 네스테로프 가속의 유사체를 구현할 수 있는가?
• RQ2 로그-소벨 조건하에서 언더댄드 Langevin 다이나믹스가 KL 발산에서 가속 수렴 속도를 제공하는가?
• RQ3 MCMC에서 가속이 존재할 때 어떤 Lyapunov 구조가 수렴을 보장할 수 있는가?
• RQ4 이산화가 MCMC 스킴의 가속 수렴 보장에 어떤 영향을 미치는가?
• RQ5 타깃 분포의 어떤 클래스(예: 특정 매끄함을 갖는 지역적으로 비볼록)가 이러한 다이내믹에서 가속 속도를 허용하는가?

주요 결과

• 언더댄드 Langevin 다이나믹스가 KL 발산에 대해 가속 경사 하강을 구현한다.
• 로그-소벨 부등식을 만족하는 타깃에 대해 언더댄드 스킴이 KL 발산에서 수렴 속도를 d/ε에서 √(d/ε)로 가속한다(정리 1).
• 모멘텀과 위치를 결합하는 Lyapunov 함수가 연속 시간에서 선형 수렴 속도(비율 ρ/10)를 보인다.
• 고차 이산화 스킴이 가속을 보존하고 실용적인 스텝-사이즈 선택을 제공한다(h는 L_G, L_H, ρ, d, ε에 의존).
• 이 접근은 최적화 기반 가속과 hypocoercivity를 연결하여 비볼록 타깃 클래스에 대한 가속 속도를 가능하게 한다.
• 모멘텀 재시작(재샘플링)을 통해 HMC와의 연관성과 실제 혼합에 영향을 줄 수 있다.