[논문 리뷰] Estimating Convergence of Markov chains with L-Lag Couplings

Niloy Biswas, Pierre Jacob외 1명|arXiv (Cornell University)|2019. 05. 23.

Markov Chains and Monte Carlo Methods참고 문헌 56인용 수 10

한 줄 요약

이 논문은 고정된 시간 t에서 마코프 체인의 균일분포와 그 불변분포 사이의 총변동거리 또는 워샤프트의 거리에 대한 비점근적 상계를 추정하기 위해 L-지연 결합을 도입한다. 두 체인을 L의 지연으로 결합하고 그 만남 시간을 모니터링함으로써, MCMC 알고리즘에 대한 계산 가능한 실용적 수렴 진단을 제공하며, 이는 버닝 인 평가, 알고리즘 비교, 순차 몽테카를로 및 중요도 샘플링에서의 편향 평가를 가능하게 한다.

ABSTRACT

Markov chain Monte Carlo (MCMC) methods generate samples that are asymptotically distributed from a target distribution of interest as the number of iterations goes to infinity. Various theoretical results provide upper bounds on the distance between the target and marginal distribution after a fixed number of iterations. These upper bounds are on a case by case basis and typically involve intractable quantities, which limits their use for practitioners. We introduce L-lag couplings to generate computable, non-asymptotic upper bound estimates for the total variation or the Wasserstein distance of general Markov chains. We apply L-lag couplings to the tasks of (i) determining MCMC burn-in, (ii) comparing different MCMC algorithms with the same target, and (iii) comparing exact and approximate MCMC. Lastly, we (iv) assess the bias of sequential Monte Carlo and self-normalized importance samplers.

연구 동기 및 목표

• 마코프 체인 몽테카를로(MCMC) 방법에서 변동분포 πₜ와 불변분포 π 사이의 거리에 대한 계산 가능한 비점근적 경계의 부족을 해결하기 위해.
• 점근적 근사나 계산이 불가능한 상수에 의존하지 않는 실용적인 MCMC 수렴 평가 도구를 개발하기 위해.
• 동일한 분포를 목표로 하는 다양한 MCMC 알고리즘 간 비교, 정확한 vs. 근사적 MCMC, 그리고 순차 몽테카를로 및 정규화 중요도 샘플링에서의 편향 평가를 가능하게 하기 위해.
• 특히 작은 t에서 더 날카로운 경계를 제공하기 위해, 1-지연 결합을 초월해 적용 가능한 결합 기법의 범위를 확장하기 위해.

제안 방법

• Xₜ와 Yₜ₋ₗ이 공동 핵심 K̄를 통해 결합된 L-지연 마코프 체인 (Xₜ, Yₜ)을 구성하여, 그들이 무작위 시간 τ⁽ᴸ⁾ 이후 정확히 만날 수 있도록 보장한다.
• 만남 시간 τ⁽ᴸ⁾은 t > L 인 최초의 시간 t에서 Xₜ = Yₜ₋ₗ가 성립할 때 정의되며, 이후 체인은 결합된 상태를 유지한다.
• 이 방법은 체인이 아직 만남을 이루지 않은 확률, 즉 P(τ⁽ᴸ⁾ > t)를 사용하여 πₜ와 π 사이의 총변동거리 또는 워샤프트의 거리를 추정한다.
• 기울기 기반 MCMC 알고리즘인 MALA와 ULA에 대해서는 반사-최대 결합을 사용하여 각 단계에서 만남 확률을 최대화한다.
• 입자 MCMC에 대해서는 결합된 입자 독립 메트로폴리스–해스팅스(PIMH) 알고리즘을 사용하여 τ⁽ᴸ⁾ = L 일 확률이 양수로 존재하도록 한다.
• 이 방법은 이징 모델에서의 길리브 샘플러와 MALA, ULA를 사용한 고차원 로그-볼록 목표에 적용된다.

실험 결과

연구 질문

• RQ1 고정된 t에 대해 L-지연 결합이 πₜ와 π 사이의 거리에 대한 계산 가능한 비점근적 상계를 제공할 수 있는가?
• RQ2 지연 L의 선택이 특히 작은 t에서 수렴 경계의 날카로움에 어떤 영향을 미치는가?
• RQ3 L-지연 결합을 사용하여 MCMC 샘플링의 버닝 인 기간을 평가할 수 있는가?
• RQ4 이 방법은 동일한 분포를 목표로 하는 다양한 MCMC 알고리즘 간 비교에 효과적으로 활용될 수 있는가?
• RQ5 이 방법은 순차 몽테카를로 및 정규화 중요도 샘플러에서의 편향을 탐지하고 정량화할 수 있는가?

주요 결과

• L-지연 결합은 표준 이론적 경계에서 계산이 불가능한 상수로 인해 확보되지 않는 πₜ와 π 사이의 총변동거리 및 워샤프트의 거리에 대해 계산 가능한 비점근적 상계를 제공한다.
• 지연된 결합 메커니즘 덕분에, 특히 작은 t 값에서 1-지연 결합보다 더 날카로운 경계를 도출한다.
• 이 방법은 이산(이징 모델) 및 연속(로그-볼록 목표) 설정 모두에서 MCMC 체인의 적절한 버닝 인 기간을 성공적으로 식별한다.
• 이 방법은 MALA와 ULA와 같은 정확한 및 근사적 MCMC 알고리즘 간의 수렴을 목표 분포로의 수렴 정도를 정량화함으로써 효과적인 비교를 가능하게 한다.
• 이 기법은 순차 몽테카를로 및 정규화 중요도 샘플러에서의 편향을 탐지하며, 이론적 편향 분석의 계산 가능한 대안을 제공한다.
• 고차원 목표(d = 1000)에서의 수치 실험 결과, 방법이 여전히 효과적이고 계산 가능하며, t가 증가할수록 수렴 경계가 감소하는 것으로 나타났다.