[논문 리뷰] Convergence of Langevin MCMC in KL-divergence

Xiang Cheng, Peter L. Bartlett|arXiv (Cornell University)|2017. 05. 25.

Markov Chains and Monte Carlo Methods참고 문헌 4인용 수 37

한 줄 요약

이 논문은 잠재함수 U에 대해 강한 볼록성과 미세성 조건을 가정할 때, 이산 랭글레인 MCMC의 Kullback-Leibler (KL) 발산에서 최초로 비점근 수렴 속도를 확립한다. 랭글레인 확산을 확률 공간에서의 경사 하강 흐름으로 해석함으로써, KL 발산에서 ε 오차를 달성하기 위한 ˜O(d/ε) 반복 복잡도를 도출하였으며, 이는 총변동과 2-워샤르슈타인 거리와 같은 더 약한 거리 척도에서의 수렴 보장을 통합한다.

ABSTRACT

Langevin diffusion is a commonly used tool for sampling from a given distribution. In this work, we establish that when the target density $p^*$ is such that $\log p^*$ is $L$ smooth and $m$ strongly convex, discrete Langevin diffusion produces a distribution $p$ with $KL(p||p^*)\leq ε$ in $ ilde{O}(\frac{d}ε)$ steps, where $d$ is the dimension of the sample space. We also study the convergence rate when the strong-convexity assumption is absent. By considering the Langevin diffusion as a gradient flow in the space of probability distributions, we obtain an elegant analysis that applies to the stronger property of convergence in KL-divergence and gives a conceptually simpler proof of the best-known convergence results in weaker metrics.

연구 동기 및 목표

• 강한 볼록성과 미세성 조건 하에서 이산 랭글레인 MCMC의 KL 발산에서의 비점근 수렴을 확립하는 것, 이는 총변동이나 워샤르슈타인 거리보다 더 자연스러운 척도이기 때문이다.
• KL 수렴을 더 강력한 기초로 삼아 여러 척도에서의 수렴 분석을 통합하는 것.
• 확률 공간에서의 경사 하강 흐름 구조를 활용하여 개념적으로 더 단순한 증명 프레임워크를 제공하는 것.
• 강한 볼록성이 없는 경우로의 수렴 결과 확장을 통해 더 약한 가정 하에서 새로운 경계를 제공하는 것.

제안 방법

• KL 발산을 잠재 함수로 삼아, 확률 분포 공간에서의 랭글레인 확산을 경사 하강 흐름으로 공식화한다.
• 연속적인 SDE (2)의 시간 이산화된 형태로 간주되는 이산화된 랭글레인 알고리즘 (4)를 분석하며, 이는 이산 간격마다 드리프트를 갱신한다.
• 측도 미분과 연속 방정식을 사용하여 흐름 沿해 KL 발산의 변화율을 제한한다.
• KL 발산의 감쇠를 L2 노름 ∥∇log pt − ∇log p∗∥L2(pt) 에서의 드리프트 차이와 연결함으로써, KL 발산 감쇠에 대한 미분 부등식을 수립한다.
• Gronwall 유형의 추론과 에너지 기반 경계를 적용하여 수렴 속도를 유도하며, KL 발산이 크거나 작은 경우에 따라 다른 분석을 구분한다.
• 기존의 모멘트 경계 결과(예: 보조정리 11)와 확률 밀도 흐름의 정규성 정보를 활용하여 적분 가능성과 유한한 측도 미분을 보장한다.

실험 결과

연구 질문

• RQ1 강한 볼록성과 미세성 조건 하에서, 이산 랭글레인 MCMC의 수렴을 총변동이나 워샤르슈타인 거리보다 직접적으로 KL 발산에서 확립할 수 있는가?
• RQ2 강한 볼록성과 미세성 조건 하에서, KL 발산에서 ε 정확도를 달성하기 위한 최적의 반복 복잡도는 무엇인가?
• RQ3 확률 공간에서의 경사 하강 흐름 해석이 MCMC 수렴 분석을 어떻게 단순화하는가?
• RQ4 강한 볼록성이 완화되었을 경우, 어떤 수렴 보장을 도출할 수 있는가?
• RQ5 KL 수렴이 총변동과 2-워샤르슈타인 거리에 대해 더 날카로운 경계를 유도할 수 있는가?

주요 결과

• U가 m-강한 볼록성과 L-미세성을 만족할 경우, 이산 랭글레인 MCMC 알고리즘이 ˜O(d/ε) 반복 내에 KL(pt∥p∗) ≤ ε 을 달성한다.
• KL 수렴은 총변동과 2-워샤르슈타인 거리 수렴을 암시하며, 이전 결과와 동일한 반복 복잡도를 가지지만 더 강력한 척도에서 달성된다.
• 증명 프레임워크는 KL 수렴을 주요 결과로 도출함으로써, 다양한 척도에서의 수렴 분석을 통합한다.
• 강한 볼록성이 없는 잠재함수에 대해서는, [3]보다 차원 의존성이 우수하지만 이전 작업에 비해 ε에 대한 의존성이 열악한 수렴 결과를 제공한다.
• 흐름의 측도 미분 |p′_t| 는 유한하므로, 연속 시간 동역학의 잘 정의됨을 보장하고 엄밀한 이산화 오차 경계를 가능하게 한다.
• 분석 결과, KL 발산 감쇠는 드리프트 차이의 제곱 L2 노름에 의해 결정되며, 이는 수렴 속도 유도에 가능한 미분 부등식을 이끈다.