[논문 리뷰] Wasserstein-based methods for convergence complexity analysis of MCMC with application to Albert and Chib's algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|2018. 10. 20.

Markov Chains and Monte Carlo Methods참고 문헌 38인용 수 6

한 줄 요약

이 논문은 고차원 설정에서 표본 크기 $n$과 공변량 수 $p$가 모두 증가할 때, 마르코프 체인 몬테카를로(MCMC) 알고리즘, 특히 알버트와 치비의 알고리즘의 수렴 복잡도를 분석하기 위해 워샤르슈타인 기반 방법을 제안한다. 전통적인 드리프트와 마이너라이제이션(d&m) 기법과는 달리, 이는 차원 증가에 따라 성능이 떨어지지 않으며, $n, p \to \infty$의 공동 점점적 영역에서의 행동을 성공적으로 포착하는 더 날카르고 더 견고한 수렴 속도 경계를 도출한다. 이는 이전의 d&m 기반 분석이 남긴 격차를 메운다.

ABSTRACT

Over the last 25 years, techniques based on drift and minorization (d&m) have been mainstays in the convergence analysis of MCMC algorithms. However, results presented herein suggest that d&m may be less useful in the emerging area of convergence complexity analysis, which is the study of how Monte Carlo Markov chain convergence behavior scales with sample size, $n$, and/or number of covariates, $p$. The problem appears to be that minorization becomes a serious liability as dimension increases. Alternative methods of constructing convergence rate bounds (with respect to total variation distance) that do not require minorization are investigated. These methods incorporate both old and new theory on Wasserstein distance and random mappings, and produce bounds that are apparently more robust to increasing dimension than those based on d&m. Indeed, the Wasserstein-based bounds are used to develop strong convergence complexity results for Albert and Chib's (1993) algorithm in the challenging asymptotic regime where both $n$ and $p$ diverge. We note that Qin and Hobert's (2019) d&m-based analysis of the same algorithm led to useful results in the cases where $n ightarrow \infty$ with $p$ fixed, and $p ightarrow \infty$ with $n$ fixed, but these authors provided no results for the case where $n$ and $p$ are both large.

연구 동기 및 목표

• 차원이 증가함에 따라 MCMC 알고리즘의 수렴 복잡도 분석에서 드리프트와 마이너라이제이션(d&m) 방법의 한계를 해결하기 위해.
• 고차원 설정에서 문제가 되는 마이너라이제이션 조건을 피할 수 있는 대체 수렴 속도 경계를 개발하기 위해.
• 표본 크기 $n$과 공변량 수 $p$가 모두 발산하는 도전적인 영역에서 알버트와 치비(1993)의 알고리즘에 이러한 새로운 경계를 적용하기 위해.
• d&m 방법이 실패하는 $n, p \to \infty$의 공동 점점적 영역에서 알버트와 치비의 알고리즘에 대해 수렴 복잡도 결과를 처음으로 제공하기 위해.

제안 방법

• 논문은 워샤르슈타인 거리와 랜덤 매핑 이론의 최근 발전을 활용하여 수렴 속도 경계를 구축한다.
• d&m의 마이너라이제이션 조건을 고차원 의존성 구조를 더 잘 다룰 수 있는 워샤르슈타인 기반 쌍화 프레임워크로 대체한다.
• 마르코프 전이 커널의 성질과 그들의 워샤르슈타인 수축률을 활용하여 차원에 영향을 받지 않는 경계를 도출한다.
• 워샤르슈타인 거리 이론의 오래된 이론과 새로운 이론을 통합하여 공동 점점적 조건 하에서 MCMC 샘플러의 수렴 행동을 분석한다.
• 이 방법은 특히 베이지안 로지스틱 회귀에 널리 사용되는 알버트와 치비의 알고리즘에 특별히 적용된다.
• 커플링 논증과 워샤르슈타인 거리의 거리 성질을 사용하여 고차원 매개변수 공간에서의 수렴 속도를 정량화하는 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 표본 크기 $n$과 공변량 수 $p$가 모두 증가하는 고차원 설정에서 MCMC 알고리즘의 수렴 복잡도 분석을 향상시킬 수 있는가?
• RQ2 왜 전통적인 드리프트와 마이너라이제이션(d&m) 방법은 $n, p \to \infty$의 공동 점점적 영역에서 실패하는가?
• RQ3 워샤르슈타인 기반 방법은 고차원에서 d&m보다 더 날카르고 더 견고한 수렴 속도 경계를 제공할 수 있는가?
• RQ4 표본 크기 $n$과 공변량 수 $p$가 동시에 발산할 때 알버트와 치비의 알고리즘의 수렴 행동은 어떠한가?
• RQ5 d&m 기반 분석, 예를 들어 쿤과 허버트(2019)의 분석은 고차원 점점적 분석에서 MCMC 수렴의 전체 복잡도를 포착하지 못하는가?

주요 결과

• 워샤르슈타인 기반 방법은 드리프트와 마이너라이제이션에 기반한 것보다 고차원에서 더 견고한 수렴 속도 경계를 도출한다.
• 제안된 접근법은 이전의 d&m 기반 분석이 달성하지 못한 $n, p \to \infty$의 공동 점점적 영역에서 알버트와 치비의 알고리즘에 대해 강력한 수렴 복잡도 결과를 성공적으로 도출한다.
• 마이너라이제이션 조건은 고차원 설정에서 심각한 부담이 되며, 전통적인 d&m 기법의 적용 가능성을 제한한다.
• 워샤르슈타인 기반 경계는 $n$과 $p$에 따른 MCMC 수렴의 스케일링 행동을 더 효과적으로 포착함을 입증한다.
• 퀸과 허버트(2019)의 d&m 기반 분석이 $n \to \infty$이면서 $p$가 고정되거나 $p \to \infty$이면서 $n$이 고정되는 경우에만 결과를 제공했지만, 둘 다 큰 경우는 다루지 못하는 한계를 극복한다.