[논문 리뷰] Asymptotically Stable Drift and Minorization for Markov Chains with Application to Albert and Chib's Algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|2017. 12. 24.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 3

한 줄 요약

이 논문은 고차원 베이지안 문제에서 마르코프 체인 몬테카를로(MCMC) 수렴 분석을 위한 정교화된 드리프트 조건과 미니멀라이제이션 조건을 개발한다. 특히 알버트와 치브의 프로비트 모델 알고리즘을 중심으로 다룬다. 드리프트 함수를 중심화하고, 미니멀라이제이션에서 고차원성을 억제함으로써, 표본 크기 $n \to \infty$와 공변수 수 $p \to \infty$일 때 수렴 속도가 1에서 일정하게 떨어져 있음을 보장하는 기하학적 에르고디시티를 확립한다. 이로 인해 정류된 수렴 거리에 대한 첫 번째 계산 가능한 경계를 도출한다.

ABSTRACT

The use of MCMC algorithms in high dimensional Bayesian problems has become routine. This has spurred so-called convergence complexity analysis, the goal of which is to ascertain how the convergence rate of a Monte Carlo Markov chain scales with sample size, $n$, and/or number of covariates, $p$. Recent work suggests that, while often useful for establishing convergence rates when $n$ and $p$ are fixed, techniques based on drift and minorization may not be versatile enough to handle the more delicate task of convergence complexity analysis. This article provides some general ideas for sharpening drift and minorization conditions, particularly in cases where~$n$ and/or~$p$ are large. The key ideas include developing an appropriately centered drift function, and suppressing high-dimensionality in the construction of minorization conditions. These concepts are employed in a thorough convergence complexity analysis of Albert and Chib's (1993) data augmentation algorithm for the Bayesian probit model. The main result is that the geometric convergence rate of the underlying Markov chain is bounded below 1 both as $n ightarrow \infty$ (with $p$ fixed), and as $p ightarrow \infty$ (with $n$ fixed). Furthermore, the first computable bounds on the total variation distance to stationarity are byproducts of the asymptotic analysis.

연구 동기 및 목표

• 고차원 MCMC 알고리즘의 수렴 복잡도 분석에서 전통적인 드리프트 및 미니멀라이제이션 기법의 한계를 해결하기 위해.
• 표본 크기 $n$과 공변수 수 $p$가 증가함에 따라 효과적으로 유지되는 더 날카운, 확장 가능한 드리프트 및 미니멀라이제이션 조건을 개발하기 위해.
• 알버트와 치브(1993)의 베이지안 프로비트 회귀를 위한 데이터 보정 알고리즘에 이러한 정교화된 조건을 적용하기 위해.
• 이 알고리즘에 대한 정류된 수렴 거리에 대한 계산 가능한 경계를 도출하기 위해.
• 표본 크기 $n \to \infty$와 공변수 수 $p \to \infty$의 두 상황 모두에서 기하학적 에르고디시티를 확립하고, 수렴 속도가 1에서 일정하게 떨어져 있음을 보장하기 위해.

제안 방법

• 고차원 설정에서의 안정성과 확장성을 향상시키기 위해 중심화된 드리프트 함수를 도입한다.
• 고차원 성분에 대한 의존성을 억제함으로써 미니멀라이제이션 조건을 수정하여 처리 가능성을 향상시킨다.
• 알버트와 치브의 데이터 보정 알고리즘의 특정 구조에 정교화된 드리프트 및 미니멀라이제이션 프레임워크를 적용한다.
• 드리프트 및 미니멀라이제이션 조건을 사용하여 마르코프 체인의 기하학적 에르고디시티를 확립한다.
• 점근적 분석을 활용하여 정류된 수렴 거리에 대한 명시적이고 계산 가능한 경계를 유도한다.
• 점근적 분석을 활용하여 $n \to \infty$와 $p \to \infty$일 때 수렴 속도가 1에서 일정하게 떨어져 있음을 확인한다.

실험 결과

연구 질문

• RQ1 드리프트 및 미니멀라이제이션 조건을 고차원 베이지안 모델의 수렴 복잡도 분석에 적합하도록 정교화할 수 있는가?
• RQ2 표본 크기 $n$과 공변수 수 $p$가 모두 증가함에 따라 알버트와 치브의 데이터 보정 알고리즘이 프로비트 모델에서 여전히 기하학적 에르고디시티를 유지하는가?
• RQ3 점근적 드리프트 및 미니멀라이제이션 분석을 통해 정류된 수렴 거리에 대한 계산 가능한 경계를 도출할 수 있는가?
• RQ4 드리프트 함수를 중심화하면 고차원 설정에서 수렴 속도 분석이 어떻게 향상되는가?
• RQ5 고차원 MCMC 알고리즘의 효과적인 미니멀라이제이션 조건을 구성할 때 차원 억제는 어떤 역할을 하는가?

주요 결과

• 표본 크기 $n \to \infty$일 때 공변수 수 $p$가 고정되어 있어도, 알버트와 치브 알고리즘의 기하학적 수렴 속도는 1에서 일정하게 떨어져 있다.
• 표본 크기 $n$이 고정되어 있을 때 공변수 수 $p \to \infty$로 갈수록 기하학적 수렴 속도가 여전히 1에서 일정하게 떨어지므로, 고차원 설정에서의 안정적인 성능을 보인다.
• 이 알고리즘에 대한 정류된 수렴 거리에 대한 첫 번째 계산 가능한 경계를 제공한다.
• 드리프트 중심화와 미니멀라이제이션에서의 차원 억제를 통해 정교화된 드리프트 및 미니멀라이제이션 조건이 고차원 설정을 효과적으로 다룰 수 있었다.
• 점근적 분석을 통해 대규모 표본 및 고차원 공변수 시나리오에서 수렴 속도의 안정성이 확인되었다.
• 기존 기법이 실패하는 복잡한 베이지안 모델에서 MCMC 수렴을 엄밀하고 정량적으로 평가할 수 있도록 하는 방법을 제공한다.