[논문 리뷰] Analysis of Langevin Monte Carlo via convex optimization

Alain Durmus, Szymon Majewski외 1명|arXiv (Cornell University)|2018. 02. 26.

Markov Chains and Monte Carlo Methods참고 문헌 40인용 수 21

한 줄 요약

이 논문은 조정되지 않은 랭게빈 알고리즘(Underdispersed Langevin Algorithm, ULA)을 2차 워샤르스타인 공간에서의 1차 최적화 방법으로 재해석하며, 볼록 최적화 기법을 사용해 샘플링 오차에 대한 비점근적 경계를 도출한다. 로그-볼록이고 미분 가능한 목표 분포에 대해 Kullback-Leibler 발산, 총변동 거리, 워샤르스타인 거리에서 수렴 속도를 확립하며, 두 가지 새로운 알고리즘을 통해 스모oth하지 않은 분포로 이 프레임워크를 확장하여 확률적 경량 랭게빈 동역학(SGLD)을 일반화한다.

ABSTRACT

In this paper, we provide new insights on the Unadjusted Langevin Algorithm. We show that this method can be formulated as a first order optimization algorithm of an objective functional defined on the Wasserstein space of order $2$. Using this interpretation and techniques borrowed from convex optimization, we give a non-asymptotic analysis of this method to sample from logconcave smooth target distribution on $\mathbb{R}^d$. Based on this interpretation, we propose two new methods for sampling from a non-smooth target distribution, which we analyze as well. Besides, these new algorithms are natural extensions of the Stochastic Gradient Langevin Dynamics (SGLD) algorithm, which is a popular extension of the Unadjusted Langevin Algorithm. Similar to SGLD, they only rely on approximations of the gradient of the target log density and can be used for large-scale Bayesian inference.

연구 동기 및 목표

• 조화 최적화 도구를 사용하여 조정되지 않은 랭게빈 알고리즘(Underdispersed Langevin Algorithm, ULA)의 비점근적 분석을 제공하는 것.
• ULA를 목표 분포와 관련된 기능을 최소화하는 2차 워샤르스타인 공간에서의 1차 최적화 알고리즘으로 해석하는 것.
• 확률적 경량 랭게빈 동역학(SGLD)을 비스무스한 설정으로 일반화하는 두 가지 새로운 샘플링 알고리즘을 제안하여 비스무스한 목표 분포로 프레임워크를 확장하는 것.
• Kullback-Leibler 발산, 총변동 거리, 워샤르스타인 거리의 관점에서 샘플링 오차에 대한 명시적이고 계산 가능한 경계를 도출하는 것.
• 볼록 및 강볼록 잠재력 하에서 샘플링 정확도 ε를 달성하기 위한 복잡도 경계를 설정하는 것.

제안 방법

• ULA를 2차 워샤르스타인 공간에서의 경량 흐름으로 기술하며, 목표 분포 π를 기능 F의 최소화자로 간주한다.
• 볼록 최적화에서의 수렴 분석 기법을 적용하여 알고리즘 출력과 목표 π 사이의 Kullback-Leibler 발산에 대한 경계를 유도한다.
• 과다 감쇠 랭게빈 SDE의 오일러-마르야모 이산화를 핵심 샘플링 메커니즘으로 사용하며, 일정 또는 비증가하는 스텝 크기를 사용한다.
• 프록시 오퍼레이터와 확률적 기울기를 조합하여 비스무스한 목표 분포를 위한 두 가지 새로운 알고리즘을 제안하며, SGLD를 비스무스한 설정으로 일반화한다.
• 안정성과 수렴성을 분석하기 위해 프록시 오퍼레이터, 비확장성, 분산 제어 등의 도구를 활용한다.
• 워샤르스타인 거리에 대한 재귀 부등식을 유도하고 귀납법을 사용하여 최소화자까지의 기대 제곱 거리에 대한 경계를 도출함으로써 명시적인 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 조정되지 않은 랭게빈 알고리즘(Underdispersed Langevin Algorithm, ULA)은 2차 워샤르스타인 공간에서의 1차 최적화 방법으로 재해석될 수 있는가?
• RQ2 Kullback-Leibler 발산, 총변동 거리, 워샤르스타인 거리의 관점에서 ULA에 대해 도출할 수 있는 비점근적 수렴 경계는 무엇인가?
• RQ3 SGLD는 비스무스한 목표 분포로 어떻게 일반화될 수 있으며, 수렴 보장을 유지할 수 있는가?
• RQ4 볼록 및 강볼凸 잠재력 하에서 샘플링 정확도 ε를 달성하기 위한 ULA의 계산 복잡도는 무엇인가?
• RQ5 기울기의 근사 오차는 알고리즘의 수렴에 어떤 영향을 미치며, 이를 경계로 표현할 수 있는가?

주요 결과

• 강볼凸 및 기울기-립시츠 잠재력 하에서, 본 논문은 [18], [16], [10]에서 알려진 결과들을 명시적이고 비점근적인 경계로 재현한다.
• 볼凸성과 온전한 시작 조건 하에서, ULA의 복잡도는 Kullback-Leibler 발산 기준으로 O(dε⁻²)이며, 총변동 거리 기준으로는 O(dε⁻⁴)이다. 이는 ε 정확도를 달성하기 위한 것이다.
• 잠재력 U의 최소화자에서 시작할 경우, 복잡도는 KL 발산 기준으로 O(dε⁻²)로 향상되고, 총변동 거리 기준으로는 O(dε⁻³)로 향상되며, 이는 표 3에서 확인할 수 있다.
• 비스무스한 목표 분포를 위한 제안된 알고리즘들은 SGLD의 자연스러운 일반화이며, 기울기 근사만을 기반으로 하므로 대규모 베이지안 추론에 적합하다.
• 재귀 부등식과 귀납법을 사용하여 워샤르스타인 거리에 대한 명시적 경계를 도출하였으며, 기울기 근사 분산과 두 번째 모멘트를 포함하는 항들이 포함되어 있다.
• 분석 결과 오차가 통제 가능한 속도로 누적되며, 경계는 계산 가능하고 실용적 구현에 적용 가능하다.