[논문 리뷰] Log-concave sampling: Metropolis-Hastings algorithms are fast

Raaz Dwivedi, Yuansi Chen외 2명|arXiv (Cornell University)|2018. 01. 08.

Markov Chains and Monte Carlo Methods참고 문헌 53인용 수 88

한 줄 요약

본 논문은 강하게 로그-쌍(concave) 분포에서 샘플링할 때 MALA와 MRW의 비점근적(non-asymptotic) 혼합 시간 경계를 제시하며, warm start에서 MALA가 O(kappa d log(1/delta)) 단계로 섞이고 ULA보다 성능이 우수하다는 것을 보인다.

ABSTRACT

We consider the problem of sampling from a strongly log-concave density in $\mathbb{R}^d$, and prove a non-asymptotic upper bound on the mixing time of the Metropolis-adjusted Langevin algorithm (MALA). The method draws samples by simulating a Markov chain obtained from the discretization of an appropriate Langevin diffusion, combined with an accept-reject step. Relative to known guarantees for the unadjusted Langevin algorithm (ULA), our bounds show that the use of an accept-reject step in MALA leads to an exponentially improved dependence on the error-tolerance. Concretely, in order to obtain samples with TV error at most $δ$ for a density with condition number $κ$, we show that MALA requires $\mathcal{O} \big(κd \log(1/δ) \big)$ steps, as compared to the $\mathcal{O} \big(κ^2 d/δ^2 \big)$ steps established in past work on ULA. We also demonstrate the gains of MALA over ULA for weakly log-concave densities. Furthermore, we derive mixing time bounds for the Metropolized random walk (MRW) and obtain $\mathcal{O}(κ)$ mixing time slower than MALA. We provide numerical examples that support our theoretical findings, and demonstrate the benefits of Metropolis-Hastings adjustment for Langevin-type sampling algorithms.

연구 동기 및 목표

• R^d에서 강하게 로그-쌍성 밀도에서 Langevin 기반 MCMC 방법을 사용해 샘플링을 동기화하고 분석한다.
• 다차원(d), 조건수(kappa), 허용오차(delta)에 대해 MALA와 MRW의 명시적 비점근 혼합 시간 경계를 제공한다.
• 성능 향상을 정량화하기 위해 Metropolis-조정 스킴과 비조정 Langevin 알고리즘(ULA)을 대조한다.
• 실용적인 적용 가능성을 평가하기 위해 feasible-start 및 약하게 로그-쌍성 설정으로 분석을 확장한다.

제안 방법

• 여기서는 f(x)가 매끄럽고 강하게 볼록한 pi(x) ∝ exp(-f(x))에서 샘플링하기 위해 Metropolis-adjusted Langevin Algorithm (MALA)과 Metropolized Random Walk (MRW)를 연구한다.
• delta-혼합 시간 경계를 총변이(distance)에서 명시적으로 도출하여, warm start에서 MALA가 O(d κ log(1/delta)) 단계에 도달함을 보인다.
• 비조정 Langevin 알고리즘(ULA)과 비교하고 MRW의 경계가 O(d κ^2 log(1/delta)) 단계임을 제시하여 MH 보정의 이득을 강조한다.
• β-warm start와 N(x*, L^{-1}I_d) 초기화 등 warm-start 및 feasible-start 분석을 도입한다.
• 경계의 차수 d, κ, L, m, 스텝 크기 등 문제 매개변수에 대한 의존성을 필요한 경우 제시한다.

실험 결과

연구 질문

• RQ1 강하게 로그-쌍성 밀도에서 샘플링할 때 MALA와 MRW의 명시적 비점근 혼합 시간 경계는 무엇인가?
• RQ2 Metropolis-Hastings 보정이 차원, 조건수, 허용오차 측면에서 ULA에 비해 수렴 속도에 어떤 영향을 미치는가?
• RQ3 warm-start 및 feasible-start 초기화가 MALA와 MRW에 대해 실용적이고 다항 시간의 혼합 보장을 제공할 수 있는가?
• RQ4 약하게 로그-쌍성 밀도에서 혹은 gradient 정보가 부분적으로만 이용 가능한 경우에도 비슷한 개선이 나타나는가?
• RQ5 강하게 및 약하게 로그-쌍성 설정에서 ULA, MRW, MALA의 규모-법칙은 어떠한가?

주요 결과

• MALA는 강하게 로그-쌍성 타깃에서 β-warm start에서 O(d κ log(1/δ)) 단계로 혼합되며, ULA의 O(d κ^2 log^2(1/δ)/δ^2) 경계보다 지수적으로 개선된다.
• MRW는 β-warm start에서 O(d κ^2 log(1/δ)) 단계로 혼합되며, κ의 인자로 느려지지만 δ에 대해 ULA보다 지수적으로 더 우수하다.
• feasibile start μ★ = N(x*, L^{-1} I_d)에서 MALA는 O(d^2 κ log(κ/δ)) 단계, MRW는 O(d^2 κ^2 log^{1.5}(κ/δ)) 단계에 도달하여 실용적인 초기화 이점을 확립한다.
• 약하게 로그-쌍성 밀도에 대해서는 수정된 MALA가 ULA에 비해 유리한 스케일링을 보이며, δ-혼합 시간은 대략 d^2 L^{1.5} / δ^{1.5} (로그 요인들 포함) 정도이다.
• 본 논문은 이론적 이득을 뒷받침하는 수치 실험을 제공하고 Langevin 계열 샘플러에서 Metropolis-Hastings 보정의 이점을 입증한다.