[논문 리뷰] On the Convergence of Langevin Monte Carlo: The Interplay between Tail Growth and Smoothness

Murat A. Erdogdu, Rasa Hosseinzadeh|arXiv (Cornell University)|2020. 05. 27.

Markov Chains and Monte Carlo Methods참고 문헌 58인용 수 20

한 줄 요약

이 논문은 약한 매끄러움 조건과 尾 꼬리 성장 조건 하에서 조정되지 않은 랭글레인 몬테카를로(LMC) 알고리즘의 수렴 속도를 확립한다: 잠재함수의 $\alpha$-차수 꼬리 성장($\alpha \in [1,2]$)과 $\beta$-홀더 연속 기울기를 가진 경우, LMC는 KL 발산에서 $\epsilon$-정확도에 도달하기 위해 $\widetilde{\mathcal{O}}\big(d^{\frac{1}{\beta} + \frac{1+\beta}{\beta}(\frac{2}{\alpha} - \mathbbm{1}_{\{\alpha \neq 1\}})} \epsilon^{-\frac{1}{\beta}}\big)$ 단계를 필요로 한다. 핵심 통찰은 $\alpha \geq 1$일 때 $\epsilon$-의존성이 꼬리 성장 $\alpha$가 아니라 매끄러움 $\beta$에만 의존한다는 것이다. 이는 비볼록 잠재함수에 대해서도 리프시츠 기울기($\beta=1$)의 경우에 대해 알려진 최고 수준의 수렴 속도를 복원한다.

ABSTRACT

We study sampling from a target distribution ${ν_* = e^{-f}}$ using the unadjusted Langevin Monte Carlo (LMC) algorithm. For any potential function $f$ whose tails behave like ${\|x\|^α}$ for ${α\in [1,2]}$, and has $β$-Hölder continuous gradient, we prove that ${\widetilde{\mathcal{O}} \Big(d^{\frac{1}β+\frac{1+β}β(\frac{2}α - \boldsymbol{1}_{\{α eq 1\}})} ε^{-\frac{1}β}\Big)}$ steps are sufficient to reach the $ε$-neighborhood of a $d$-dimensional target distribution $ν_*$ in KL-divergence. This convergence rate, in terms of $ε$ dependency, is not directly influenced by the tail growth rate $α$ of the potential function as long as its growth is at least linear, and it only relies on the order of smoothness $β$. One notable consequence of this result is that for potentials with Lipschitz gradient, i.e. $β=1$, our rate recovers the best known rate ${\widetilde{\mathcal{O}}(dε^{-1})}$ which was established for strongly convex potentials in terms of $ε$ dependency, but we show that the same rate is achievable for a wider class of potentials that are degenerately convex at infinity. The growth rate $α$ starts to have an effect on the established rate in high dimensions where $d$ is large; furthermore, it recovers the best-known dimension dependency when the tail growth of the potential is quadratic, i.e. ${α= 2}$, in the current setup. Our framework allows for finite perturbations, and any order of smoothness ${β\in(0,1]}$; consequently, our results are applicable to a wide class of non-convex potentials that are weakly smooth and exhibit at least linear tail growth.

연구 동기 및 목표

• 잠재함수에 대한 최소한의 구조적 가정 하에서 조정되지 않은 랭글레인 몬테카를로(LMC)의 수렴 속도를 확립하는 것.
• 꼬리 성장률 $\alpha$와 기울기의 매끄러움 $\beta$가 고차원 샘플링에서 LMC의 수렴에 어떻게 동시에 영향을 미치는지 분석하는 것.
• 강凸성 또는 강매끄러움 조건을 초월하여 최소 선형 꼬리 성장($\alpha \geq 1$)을 가지며 약간의 매끄러움을 갖는 비볼록 분포에 대해 알려진 수렴 보장을 확장하는 것.
• 비로그컨카브 목표 분포에 대해 꼬리 행동과 매끄러움 간의 상호작용을 포착하는 순간에 의존하는 수정 로그소볼레프 부등식(MLSI) 프레임워크를 개발하는 것.
• 모든 $\beta=1$일 때 $\widetilde{\mathcal{O}}(d\epsilon^{-1})$ 수렴 속도가 강볼록이 아닌 무한대에서 열림볼록 잠재함수에 대해서도 성립함을 보이는 것.

제안 방법

• 무한대에서 볼록이고, 꼬리 성장이 $\alpha$인 목표 분포에 대해 명시적인 상수를 갖는 순간에 의존하는 수정 로그소볼레프 부등식을 증명한다.
• 모든 $\alpha$-산산각 조건 하에서 LMC 마코프 체인의 선형으로 발산하는 순간 추정을 확립하여, 순간 성장과 수렴 속도를 연결한다.
• 순간 추정과 유도된 미분 부등식을 사용하여 LMC 법칙과 목표 간의 KL 발산을 제어한다.
• 순간의 차수를 조정하여 순간 성장과 수렴 간의 트레이드오프를 균형 잡고, KL 오차에 대한 엄밀한 제어를 가능하게 한다.
• 홀리-스트로크의 편미분 보조정리를 적용하여 볼록 잠재함수의 유한한 편미분에 대해 결과를 확장함으로써, 비볼록 목표에 대한 적용 범위를 넓힌다.
• 탈라그란드 부등식과 상대 피셔 정보를 사용하여 KL 발산과 워샤르슈타인 거리 간의 관계를 설정하고, 다양한 거리 척도 하에서 수렴 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재함수의 꼬리 성장률 $\alpha$는 고차원에서 조정되지 않은 LMC의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 리프시츠 기울기($\beta=1$)의 경우에 대해 알려진 $\widetilde{\mathcal{O}}(d\epsilon^{-1})$ 수렴 속도는 최소 선형 꼬리 성장($\alpha \geq 1$)을 가지는 비볼록 잠재함수로 확장될 수 있는가?
• RQ3 수렴 속도의 $\epsilon$-의존성은 매끄러움 순서 $\beta$와 꼬리 성장 $\alpha$ 사이의 상호작용은 무엇인가?
• RQ4 비로그컨카브 목표에 대해 LMC의 행동을 포착하는 순간에 의존하는 수정 로그소볼레프 부등식을 유도할 수 있는가?
• RQ5 수렴 속도가 차원 $d$에 대해 꼬리 성장 구조를 반영하는 방식으로 의존하는가? 특히 $\alpha=2$일 경우에 대해.

주요 결과

• $\alpha$-성장 꼬리($\alpha \in [1,2]$)와 $\beta$-홀더 연속 기울기를 가지는 잠재함수에 대해, LMC의 KL 발산 수렴 속도는 $\widetilde{\mathcal{O}}\big(d^{\frac{1}{\beta} + \frac{1+\beta}{\beta}(\frac{2}{\alpha} - \mathbbm{1}_{\{\alpha \neq 1\}})} \epsilon^{-\frac{1}{\beta}}\big)$이다.
• $\alpha \geq 1$일 때 수렴 속도의 $\epsilon$-의존성이 꼬리 성장률 $\alpha$가 아니라 매끄러움 순서 $\beta$에만 의존한다는 점은, 비볼록 잠재함수에 대해서도 $\beta=1$의 경우에 대해 알려진 최고 수준의 수렴 속도를 일반화한다.
• $\alpha=2$일 경우, 차원 의존성은 $\beta=1$에 대해 알려진 최고 수준의 $\widetilde{\mathcal{O}}(d\epsilon^{-1})$ 수렴 속도를 유지하며, 무한대에서 열림볼록 잠재함수에 대해서도 성립한다.
• 명시적인 상수를 갖는 순간에 의존하는 수정 로그소볼레프 부등식이 확립되었으며, 이는 약한 가정 하에서 수렴 속도 유도에 기여한다.
• 이 프레임워크는 모든 $\beta \in (0,1]$에 적용 가능하며, 비리프시츠 기울기의 경우에도 적용 가능하고, 볼록 잠재함수의 유한한 편미분에 대해서도 적용 가능하므로, 광범위한 비볼록 목표 분포를 커버한다.
• 결과는 LMC의 마지막 반복에 대해 엄밀하며, 고차원 비로그컨카브 샘플링에서 최적 수렴을 달성하기 위해 고차순순간 제어가 필수적임을 시사한다.