[논문 리뷰] Improved Discretization Analysis for Underdamped Langevin Monte Carlo

Matthew Zhang, Sinho Chewi외 3명|arXiv (Cornell University)|2023. 02. 16.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 Underdamped Langevin Monte Carlo (ULMC)에 대해 Girsanov 기반의 새로운 이산화 분석을 제안하며, Lipschitz Hessian나 강한 로그-볼록성 조건을 필요로 하지 않고도 더 약한 가정 조건—예를 들어 Poincaré 부등식과 약한 스무스함 조건—하에서 개선된 샘플링 보장을 가능하게 한다. 이는 상태-의존적인 반복 복잡도를 달성하고, 이러한 설정에서 ULMC에 대해 처음으로 KL 및 Rényi 산란도 보장을 제공하며, 조건 수 의존성 향상과 연속 시간 PDE 기반 가속화의 이산화를 통한 가속 효과 유사 결과를 제공한다.

ABSTRACT

Underdamped Langevin Monte Carlo (ULMC) is an algorithm used to sample from unnormalized densities by leveraging the momentum of a particle moving in a potential well. We provide a novel analysis of ULMC, motivated by two central questions: (1) Can we obtain improved sampling guarantees beyond strong log-concavity? (2) Can we achieve acceleration for sampling? For (1), prior results for ULMC only hold under a log-Sobolev inequality together with a restrictive Hessian smoothness condition. Here, we relax these assumptions by removing the Hessian smoothness condition and by considering distributions satisfying a Poincaré inequality. Our analysis achieves the state of art dimension dependence, and is also flexible enough to handle weakly smooth potentials. As a byproduct, we also obtain the first KL divergence guarantees for ULMC without Hessian smoothness under strong log-concavity, which is based on a new result on the log-Sobolev constant along the underdamped Langevin diffusion. For (2), the recent breakthrough of Cao, Lu, and Wang (2020) established the first accelerated result for sampling in continuous time via PDE methods. Our discretization analysis translates their result into an algorithmic guarantee, which indeed enjoys better condition number dependence than prior works on ULMC, although we leave open the question of full acceleration in discrete time. Both (1) and (2) necessitate Rényi discretization bounds, which are more challenging than the typically used Wasserstein coupling arguments. We address this using a flexible discretization analysis based on Girsanov's theorem that easily extends to more general settings.

연구 동기 및 목표

• 강한 로그-볼록 분포를 초월해 ULMC의 샘플링 보장을 확장하기 위해, 제한적인 헤시안 스무스함 및 로그-소볼레프 조건을 완화하는 것.
• 더 약한 함수 불등식 조건 하에서 ULMC의 반복 복잡도에서 차원 및 조건 수 의존성을 향상시키는 것.
• 연속 시간 가속 샘플링 결과를 새로운 이산화 프레임워크를 통해 이산 시간 알고리즘 보장으로 번역하는 것.
• Poincaré 및 로그-소볼레프 조건 하에서 Lipschitz Hessian 조건 없이 ULMC에 대한 처음으로 Rényi 산란도 및 KL 산란도 경계를 수립하는 것.
• Girsanov 정리에 기반한 탄력적인 이산화 분석 프레임워크를 개발하여 약한 스무스함 및 비-로그-볼록 잠재 함수로 일반화하는 것.

제안 방법

• 연속적 과정과 이산적 과정 간의 산란도를 제어하기 위해 측도 변화 기법을 활용한 새로운 Girsanov 기반 ULMC 이산화 경계를 제안한다.
• 변형된 Fokker-Planck 방정식과 레마 5를 통한 피셔 정보 감소를 활용하여, SDE의 법칙과 그 이산화 간의 Rényi 산란도를 경계한다.
• 행렬 $\mathcal{M}$ 을 통한 메트릭 변환을 도입하여 위치 및 속도 성분을 분리함으로써 스코어 함수 차이에 대한 더 엄밀한 제어를 가능하게 한다.
• Underdamped Langevin 확산을 따라 로그-소볼레프 상수에 대한 새로운 결과를 적용하여, 헤시안 Lipschitz 조건 없이도 강한 로그-볼록성 하에서 KL 산란도 보장을 도출한다.
• Cao 등(2020)의 연속 시간 가속 결과를 Rényi 이산화 경계와 시간 스케일링 기법을 활용해 이산 시간 보장으로 번역한다.
• 약한 스무스함(홀더 연속 기울기) 및 일반적인 기능 불등식(Poincaré 포함)으로까지 확장 가능한 Girsanov 정리에 기반한 탄력적인 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 헤시안 스무스함 조건 없이 Poincaré 부등식 조건 하에서 ULMC가 샘플링 보장을 달성할 수 있는가?
• RQ2 기존 연구를 초월해 ULMC의 반복 복잡도에서 차원 및 조건 수 의존성을 향상시킬 수 있는가?
• RQ3 Cao 등(2020)의 연속 시간 가속 결과를 이산화하여 가속 수렴 특성을 갖는 이산 시간 알고리즘 보장을 도출할 수 있는가?
• RQ4 일반적인 가정 조건 하에서 ULMC에 대한 Rényi 산란도 경계를 확립할 수 있는가? 이는 워샤르스탄 거리보다 더 강력한 수렴 기준을 제공할 수 있다.
• RQ5 분석을 약한 스무스함을 갖는 잠재 함수(홀더 기울기, $s \in (0,1]$)로까지 확장할 수 있는가? 이는 고차원 분포에서 더 현실적인 스무스함 조건을 반영한다.

주요 결과

• 강한 로그-볼록성 및 로그-스무스함 조건 하에서 $\epsilon^2$-KL 산란도에 대해 $\widetilde{\mathcal{O}}(\kappa^{3/2}d^{1/2}\epsilon^{-1})$ 반복 복잡도를 달성하며, Lipschitz 헤시안 조건이 필요 없어진다.
• 로그-소볼레프 부등식과 $L$-스무스 잠재 함수 조건 하에서 $\epsilon$-TV 거리에 대해 $\widetilde{\mathcal{O}}(C_{\mathsf{LSI}}^{3/2}L^{3/2}d^{1/2}\epsilon^{-1})$ 복잡도를 확보하며, 헤시안 Lipschitz 조건 없이도 가능하다.
• Poincaré 부등식과 $L$-스무스 잠재 함수 조건 하에서 ULMC에 대해 처음으로 $\epsilon^2$-Rényi 산란도 보장을 제공하며, 복잡도는 $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}^{3/2}L^{3/2}d^2\epsilon^{-1})$ 이다.
• 로그-볼록성 조건 하에서는 $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}Ld^2\epsilon^{-1})$ 로 향상되며, 동일한 설정에서 기존 LMC 결과를 초월한다.
• Poincaré 부등식 하에서 약한 스무스함을 갖는 잠재 함수(홀더 기울기, $s \in (0,1]$)에 대해 ULMC에 대해 처음으로 보장을 수립하여, 더 비정규적인 분포로의 적용 가능성을 확장한다.
• Cao 등(2020)의 연속 시간 가속 결과를 이산 시간으로 번역하여, 이전 ULMC 연구보다 더 나은 조건 수 의존성을 확보한다. 다만, 완전한 가속화는 여전히 열려있다.