[논문 리뷰] Underdamped Langevin MCMC: A non-asymptotic analysis

Xiang Cheng, Niladri S. Chatterji외 2명|arXiv (Cornell University)|2017. 07. 12.

Markov Chains and Monte Carlo Methods참고 문헌 22인용 수 98

한 줄 요약

이 논문은 강하게 log-concave 타깃에 대해 underdamped Langevin MCMC를 분석하고 2-Wasserstein 거리에서 비점근적 수렴을 O(sqrt(d)/ε) 반복으로 증명한다.

ABSTRACT

We study the underdamped Langevin diffusion when the log of the target distribution is smooth and strongly concave. We present a MCMC algorithm based on its discretization and show that it achieves $\varepsilon$ error (in 2-Wasserstein distance) in $\mathcal{O}(\sqrt{d}/\varepsilon)$ steps. This is a significant improvement over the best known rate for overdamped Langevin MCMC, which is $\mathcal{O}(d/\varepsilon^2)$ steps under the same smoothness/concavity assumptions. The underdamped Langevin MCMC scheme can be viewed as a version of Hamiltonian Monte Carlo (HMC) which has been observed to outperform overdamped Langevin MCMC methods in a number of application areas. We provide quantitative rates that support this empirical wisdom.

연구 동기 및 목표

• 로그-스무스하고 강하게 볼록한 타깃으로부터 샘플링을 유도하기 위해 underdamped Langevin 확산(2차, 해밀토니언과 유사한 과정)을 이용한다.
• 이산화된 알고리즘이 불변분포에 대해 2-Wasserstein 거리에서 비점근적 수렴 보장을 제공한다.
• 같은 스무스성/볼록성 가정하에서 overdamped Langevin MCMC에 비해 알려진 수렴 속도를 개선한다.
• 노이즈가 있는 기울기 정보와 함께 안정성 및 수렴을 조사한다.
• 해밀토니안 몬테카를로와 최적화에서의 가속 개념과의 연결을 다룬다.

제안 방법

• dv_t = -γ v_t dt - u∇f(x_t) dt + sqrt(2γu) dB_t와 dx_t = v_t dt로 주어지는 상태공간의 연속시간 underdamped Langevin 확산을 모델화하고, 불변분포 p*(x,v) ∝ exp(-(f(x)+||v||^2/(2u)))로 정의한다.
• SDE를 이산화하여 δ 스텝으로 알고리즘 1(구체적 underdamped Langevin MCMC 알고리즘)을 얻고, γ=2 및 u=1/L를 사용한다.
• 연속시간 과정에 대해 W2에서 지수적 수축을 증명한다(정리 5 및 보정정리 7).
• 연속 및 이산 과정 간의 이산화 오차를 상한한다(정리 9).
• 수축 및 이산화 경계값을 결합하여 이산화된 알고리즘의 W2에서의 비점근적 수렴을 도출한다(정리 1).
• 확률적 기울기 및 기울기 분산이 유한한 설정으로 확장을 보인다(정리 3).

실험 결과

연구 질문

• RQ1 강하게 log-concave 타깃으로부터의 샘플링에 대해 underdamped Langevin 다이나믹스가 비점근적 수렴 보장을 달성할 수 있는가?
• RQ2 이산화된 underdamped Langevin MCMC의 2-Wasserstein 거리에서의 유한시간(스텝 제한) 속도는 어떠한가?
• RQ3 동일한 스무스성/볼록성 가정하에서 차원 및 정확도 측면에서 underdamped 접근법은 overdamped Langevin에 비해 어떤 차이가 있는가?
• RQ4 노이즈가 있는 기울기 추정이 수렴 속도에 어떤 영향을 미치며 보장을 어떻게 유지할 수 있는가?

주요 결과

• 이산화된 underdamped Langevin MCMC는 W2 오차를 ≤ ε로 만드는 데 O(sqrt(d)/ε) 스텝을 달성한다.
• 이 속도는 같은 가정하에서 overdamped Langevin MCMC가 필요한 O(d/ε^2) 스텝보다 향상된다.
• 연속시간 underdamped Langevin 확산은 불변분포로의 W2에서 지수적 수렴을 보인다(적절한 매개변수 선택과 함께).
• 연속 및 이산 동역학 간의 이산화 오차가 제어되며 전체 오차 경계에 덧셈적으로 기여한다.
• 분산이 유한한 확률적 기울기를 사용해도 비점근적 수렴 보장은 명시적 스텝크기 선택과 함께 여전히 성립한다.
• 이론적 결과는 MCMC의 가속을 2차 다이나믹스와 연결하고 최적화 가속 방법의 직관과 공유한다.