[논문 리뷰] Stochastic Runge-Kutta Accelerates Langevin Monte Carlo and Beyond

Xuechen Li, Yi Wu외 2명|arXiv (Cornell University)|2019. 01. 01.

Markov Chains and Monte Carlo Methods인용 수 22

한 줄 요약

이 논문은 오버다마프드 랑주빈 확산의 이산화를 위해 스토하스틱 룬게-쿠타 방법을 제안하여 마르코프 체인 몬테카를로 샘플링을 가속화한다. 적분기의 국소적 편차 성질을 활용함으로써, 강한 볼록성과 미세한 매끄러움을 갖는 포텐셜에 대해 2-와서르슈타인 거리에서 수렴 속도를 $\tilde{\mathcal{O}}(d\epsilon^{-2/3})$로 달성한다. 이는 기울기 오라클만을 사용하는 유일한 방법으로도 유의미한 향상을 이룬다.

ABSTRACT

Sampling with Markov chain Monte Carlo methods typically amounts to discretizing some continuous-time dynamics with numerical integration. In this paper, we establish the convergence rate of sampling algorithms obtained by discretizing smooth It\^o diffusions exhibiting fast $2$-Wasserstein contraction, based on local deviation properties of the integration scheme. In particular, we study a sampling algorithm constructed by discretizing the overdamped Langevin diffusion with the method of stochastic Runge-Kutta. For strongly convex potentials that are smooth up to a certain order, its iterates converge to the target distribution in $2$-Wasserstein distance in $ ilde{\mathcal{O}}(d\epsilon^{-2/3})$ iterations. This improves upon the best-known rate for strongly log-concave sampling based on the overdamped Langevin equation using only the gradient oracle without adjustment. Additionally, we extend our analysis of stochastic Runge-Kutta methods to uniformly dissipative diffusions with possibly non-convex potentials and show they achieve better rates compared to the Euler-Maruyama scheme on the dependence on tolerance $\epsilon$. Numerical studies show that these algorithms lead to better stability and lower asymptotic errors.

연구 동기 및 목표

• 이토 확산의 이산화 기반 샘플링 알고리즘의 수렴 속도를 향상시키고, 빠른 2-와서르슈타인 수축을 달성하기 위해.
• 매끄럽고 강한 볼록 포텐셜 하에서 오버다마프드 랑주빈 역학을 위한 스토하스틱 룬게-쿠타 계획을 분석하기 위해.
• 비볼록 포텐셜을 갖는 균일하게 산산이 흩트리는 확산으로 분석을 확장하기 위해.
• 정확도 허용 오차 $\epsilon$ 기준으로, 오일러-마르야모 방법보다 향상된 수렴 속도와 안정성을 입증하기 위해.
• 낮은 渐近적 오차와 향상된 안정성을 보이는 수치적 검증을 통해 방법을 검증하기 위해.

제안 방법

• 스토하스틱 룬게-쿠타 적분기를 사용하여 매끄러운 이토 확산을 이산화함으로써, 더 높은 순서의 국소적 편차 성질을 활용한다.
• 기본이 되는 확산의 2-와서르슈타인 수축 속도를 활용하여 샘플링 알고리즘의 수렴을 제한한다.
• 일정한 순서까지 매끄럽고 강한 볼록 포텐셜을 갖는 경우, 이 계획은 2-와서르슈타인 거리에서 $\tilde{\mathcal{O}}(d\epsilon^{-2/3})$ 수렴을 달성한다.
• 비볼록 포텐셜을 갖는 균일하게 산산이 흩트리는 확산으로 분석을 확장하여, 오일러-마르야모 방법보다 향상된 $\epsilon$-의존성을 보여준다.
• 적분기의 진짜 확산 경로로부터의 국소적 편차를 제한함으로써 전반적인 오차를 제어하는 데 의존한다.
• 수치 실험을 통해 스토하스틱 룬게-쿠타 샘플러를 오일러-마르야모 방법과 안정성과 渐近적 오차 측면에서 비교한다.

실험 결과

연구 질문

• RQ1 스토하스틱 룬게-쿠타 방법은 강한 로그-볼록 분포에서 오일러-마르야모 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 고차 수준의 적분기를 사용할 경우, 정확도 허용 오차 $\epsilon$ 에 따른 수렴 속도의 의존성은 어떠한가?
• RQ3 균일한 산산이 흩트림 조건 하에서 비볼록 포텐셜의 경우 수렴 행동은 어떻게 변화하는가?
• RQ4 적분기의 국소적 편차 성질을 활용하여 샘플링 알고리즘의 전반적 수렴 경계를 유도할 수 있는가?
• RQ5 스토하스틱 룬게-쿠타 샘플러는 안정성과 渐近적 오차 측면에서 어떤 경험적 이점이 있는가?

주요 결과

• 스토하스틱 룬게-쿠타 샘플러는 매끄럽고 강한 볼록 포텐셜에 대해 2-와서르슈타인 거리에서 $\tilde{\mathcal{O}}(d\epsilon^{-2/3})$ 수렴 속도를 달성한다.
• 이 수렴 속도는 헤시안 또는 고차 오라클에 접근할 수 없는 기존 기울기 기반 샘플링 방법의 최고 수준의 속도를 초월한다.
• 비볼록 포텐셜을 갖는 균일하게 산산이 흩트리는 확산에 대해서는 오일러-마르야모 방법보다 오차 허용 오차 $\epsilon$ 에 대한 의존성이 더 우수하다.
• 수치 결과는 오일러-마르야모 기반 샘플러에 비해 향상된 안정성과 낮은 渐近적 오차를 확인한다.
• 이론적 분석은 적분 계획의 국소적 편차 성질과 기본 확산의 2-와서르슈타인 수축에 기반한다.
• 이 방법은 이토 확산의 맥락에서 고차 수준의 적분기를 활용한 샘플링 가속화를 위한 일반적인 프레임워크를 제공한다.