[논문 리뷰] Rapid Convergence of the Unadjusted Langevin Algorithm: Isoperimetry Suffices

Santosh Vempala, Andre Wibisono|arXiv (Cornell University)|2019. 03. 20.

Markov Chains and Monte Carlo Methods인용 수 38

한 줄 요약

이 논문은 로그-소보예프 및 포이나케 불평등 하에서, 볼록성 필요 없이 Unadjusted Langevin Algorithm(ULA)의 빠른 수렴 보장을 제시하고, KL 및 Rényi 발산에서의 수렴과 ULA의 편향 유한한 한계의 분석을 제공한다.

ABSTRACT

We study the Unadjusted Langevin Algorithm (ULA) for sampling from a probability distribution $ν= e^{-f}$ on $\mathbb{R}^n$. We prove a convergence guarantee in Kullback-Leibler (KL) divergence assuming $ν$ satisfies a log-Sobolev inequality and the Hessian of $f$ is bounded. Notably, we do not assume convexity or bounds on higher derivatives. We also prove convergence guarantees in Rényi divergence of order $q > 1$ assuming the limit of ULA satisfies either the log-Sobolev or Poincaré inequality. We also prove a bound on the bias of the limiting distribution of ULA assuming third-order smoothness of $f$, without requiring isoperimetry.

연구 동기 및 목표

• 비-로그-콘캐인 분포에서 LSI 또는 포아르케 조건 아래 ULA를 사용해 빠른 샘플링을 고무한다.
• 목표 분포가 LSI이고 매끄러운 경우 ULA를 따라 KL 발산의 지수적 수렴을 확립한다.
• 연속 Langevin 동역학과 이산-시간 ULA 모두에 대해 차수 q>1의 Rényi 발산에 대한 수렴 분석을 확장한다.
• ULA의 편향 한계 분포 ν_η를 특성화하고 매끄러움 가정 하에 편향을 상한한다.
• 수렴 속도를 스텝 크기 η 및 문제 상수(LSI/포아르케 상수, 매끄러움)와 관련지은다.

제안 방법

• LSI를 만족하는 L-매끄러운 타깃에서 Langevin 동역학과 ULA를 따라 KL 발산을 분석하고; 한 스텝 KL 감소 상한 H_ν(ρ_{k+1}) ≤ e^{−αη}H_ν(ρ_k) + 6η^2 n L^2를 도출한다.
• LANGEVIN 동역학에서 LSI 하의 KL 발산의 지수적 감소를 입증한다: H_ν(ρ_t) ≤ e^{−2αt}H_ν(ρ_0).
• 차수 q>1에 대한 Rényi 발산 프레임워크를 개발하고, 분해 보조정리와 편향 고려를 포함하며; LSI 하에서 연속 시간의 지수적 감소 R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0)을 입증한다.
• ULA를 따라 ν_η가 LSI 또는 포아르케를 만족할 때 Rényi 발산의 수렴이 편향 한계로 수렴하는 것을 확립하고, 편향과의 결합으로 ν로의 수렴을 얻는 경계를 도출한다.
• 제3차 매끄러움 하에서의 편향 한계와 ν가 매끄럽고 강하게 로그-콘케인일 때 ν_η가 LSI를 상속하는 조건을 제시한다.
• Underdamped Langevin 및 MALA와의 비교를 통해 반복 복잡도 및 차원(dimension)과 δ에 대한 의존성을 논의한다.

실험 결과

연구 질문

• RQ1 비볼록성 하에서도 등거리 조건 아래 ULA가 목표 ν에 대해 빠른 수렴을 달성할 수 있는가?
• RQ2 로그-소보예프 또는 포아르케 불평등이 Langevin 동역학과 ULA에서 KL 또는 Rényi 발산의 지수적 수렴을 보장하기에 충분한가?
• RQ3 ULA의 편향 한계 ν_η의 특성은 무엇이며, 편향을 어떻게 상한하고 η에 대한 의존성을 어떻게 정량화할 수 있는가?
• RQ4 LSI하에서 차수 q>1의 Rényi 발산이 ULA를 따라 편향 한계로 수렴하는지, 그리고 편향이 ν로의 수렴에 어떤 영향을 미치는가?
• RQ5 스텝 크기 η와 매끄러움 상수(L)가 ULA에서 KL 및 Rényi 발산의 반복적 복잡도와 오차 상한에 어떤 영향을 미치는가?

주요 결과

• ULA는 LSI 및 L-매끄러움에서 KL 발산으로 수렴하며 명시적 한계 H_ν(ρ_k) ≤ e^{−αηk}H_ν(ρ_0) + (8η n L^2)/α.
• 선택된 η ≤ α/(4L^2)일 때, k회 반복 후 KL 오차는 H_ν(ρ_k) ≤ δ를 만족하며 k ≥ (1/(αη)) log(2H_ν(ρ_0)/δ).
• 연속 Langevin 동역학에서 Rényi 발산은 지수적으로 감소한다: R_{q,ν}(ρ_t) ≤ e^{−2αt/q}R_{q,ν}(ρ_0) for q ≥ 1 under LSI; 포아르케 하에서는 감소가 초기 선형적이고 그 다음에 지수적으로 된다.
• ULA를 따라 ν_η로의 Rényi 발산은 Assumption 1(ν_η가 β>0의 LSI를 만족할 때) 지수적으로 감소하며, 감소율은 R_{q,ν_η}(ρ_k) için e^{−β η k/q}이다.
• 분해 보조: R_{q,ν}(ρ_k) ≤ ((q−1/2)/(q−1)) R_{2q,ν_η}(ρ_0) e^{−β η k/(2q)} + R_{2q−1,ν}(ν_η).
• 편향 한계: 제3차 매끄러움(등거리 조건 없음)에서는 편향 한계 ν와의 거리를 상대 Fisher 정보로 상한할 수 있으며, ν가 매끄럽고 강하게 로그-콘캐일할 때 ν_η는 LSI를 유지한다.