[논문 리뷰] MCMC-Based Inference in the Era of Big Data: A Fundamental Analysis of the Convergence Complexity of High-Dimensional Chains

Bala Rajaratnam, Doug Sparks|arXiv (Cornell University)|2015. 08. 05.

Markov Chains and Monte Carlo Methods참고 문헌 38인용 수 52

한 줄 요약

이 논문은 고차원 MCMC 샘플러의 수렴 복잡도를 분석하기 위한 엄밀한 이론적 프레임워크를 제공하며, 차원 수가 증가함에 따라 표준 방법이 실패함을 입증한다. 새로운 재매개변수화와 사전 분포 설정을 통해 고차원 모델에서 유한 기하적 에르고딕성을 확립함으로써, 큰 $ p $에서 베이지안 추론의 핵심 수렴 문제를 해결한다.

ABSTRACT

Markov chain Monte Carlo (MCMC) lies at the core of modern Bayesian methodology, much of which would be impossible without it. Thus, the convergence properties of MCMCs have received significant attention, and in particular, proving (geometric) ergodicity is of critical interest. Trust in the ability of MCMCs to sample from modern-day high-dimensional posteriors, however, has been limited by a widespread perception that these chains typically experience serious convergence problems. In this paper, we first demonstrate that contemporary methods for obtaining convergence rates have serious limitations when the dimension grows. We then propose a framework for rigorously establishing the convergence behavior of commonly used high-dimensional MCMCs. In particular, we demonstrate theoretically the precise nature and severity of the convergence problems of popular MCMCs when implemented in high dimensions, including phase transitions in the convergence rates in various $n$ and $p$ regimes, and a universality result across an entire spectrum of models. We also show that convergence problems effectively eliminate the apparent safeguard of geometric ergodicity. We then demonstrate theoretical principles by which MCMCs can be constructed and analyzed to yield bounded geometric convergence rates even as the dimension $p$ grows without bound. Additionally, we propose a diagnostic tool for establishing convergence.

연구 동기 및 목표

• 고차원 베이지안 추론에서 MCMC 수렴에 대한 이론적 이해 부족 문제를 해결하기 위해, 특히 $ p $가 증가할 경우에 대해.
• 고차원 MCMC 체인에서 열악한 수렴을 유발하는 근본 원인을 규명하고 특성화하기 위해, 특히 부수적 매개변수로부터 유도되는 사후 의존성으로 인한 원인을 중심으로.
• 다양한 $ n $와 $ p $ 설정에서의 수렴 속도 분석을 위한 이론적 프레임워크를 개발하기 위해, 수렴 행동의 단계 전이를 포함하여.
• 재매개변수화 및 정보성 사전 분포를 통해 기하적 에르고딕성이 고차원 모델에서 유지되거나 복원될 수 있음을 입증하기 위해.
• 실제 적용에서 수렴 복잡도 문제를 탐지하기 위한 진단 도구—차원별 자기상관 함수(DACF) 플롯—을 제안하기 위해.

제안 방법

• 고차원 회귀 모델에서의 길리브스 샘플러에 대한 원칙적 분석을 제안하며, 베이지안 라소, 엘라스틱넷, 스파이크-앤퍼슬 모델을 포함한다.
• 로젠탈(1995)의 기하적 에르고딕성 프레임워크를 고차원 설정으로 확장하여, $ p \to \infty $인 경우에도 적용 가능하도록 한다.
• 부수적 매개변수를 주요 매개변수에서 분리하는 재매개변수화 전략을 도입하여 사후 의존성을 감소시킨다.
• 부수적 매개변수에 대해 실증 베이지안 및 강력한 정보성 사전 분포를 활용하여 수렴을 안정화시키며, 알려진 매개변수 설정과 유사한 상황을 모방한다.
• 차원과 표본 크기의 함수로 수렴 복잡도를 시각화하기 위한 진단 도구로 DACF 플롯을 개발한다.
• $ n $와 $ p $ 설정 간의 수렴 속도를 분석하여, 수렴이 악화되는 단계 전이 지점을 규명한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 표준 MCMC 수렴 분석 기법은 $ n $가 고정되어 있더라도 $ p $가 증가함에 따라 어떻게 실패하는가?
• RQ2 고차원 MCMC 샘플러에서 수렴 속도가 열악해지는 원인는 무엇이며, 특히 계층적 또는 의존성 있는 사전 분포를 가진 모델에서 어떤가?
• RQ3 기하적 에르고딕성이 붕괴된 것으로 보이는 고차원 모델에서 이를 유지하거나 복원할 수 있는가?
• RQ4 재매개변수화, 정보성 사전 분포 또는 실증 베이지안 방법이 고차원 MCMC에서 수렴 복잡도를 어느 정도 완화시킬 수 있는가?
• RQ5 DACF 플롯과 같은 진단 도구는 실무에서 수렴 복잡도 문제를 다른 수렴 문제와 효과적으로 구분할 수 있는가?

주요 결과

• 표준 MCMC 수렴 분석 기법은 고차원 설정에서 실패한다. 이는 고정된 $ n $와 $ p $를 전제로 하므로, 수렴 행동에 대한 잘못된 결론을 이끌어낸다.
• 특히 계층 모델에서 알 수 없는 부수적 매개변수에 의해 유도되는 사후 의존성은, 기하적 에르고딕성이 기대되는 경우에도 MCMC 수렴 속도를 심각하게 악화시킬 수 있다.
• 표준 길리브스 샘플러의 수렴 속도 $ r_{n,p} $ 는 고차원 설정에서 1에 가까워지며, 이는 나쁜 믹싱을 시사한다. 특히 $ p > n $일 경우 더욱 심화된다.
• 모델을 재매개변수화하고 부수적 매개변수에 대해 정보성 사전 분포를 사용함으로써 수렴 속도를 1에서 멀리 떼어내어 기하적 에르고딕성을 효과적으로 복원할 수 있다.
• DACF 플롯은 고차원 설정에서 특히 효과적인 진단 도구로 입증되었으며, 수렴 복잡도 문제를 식별하는 데 유용하다.
• 일반성 결과가 확립되었다: 다양한 모델군에서 수렴 행동은 $ n $과 $ p $에서 유사한 단계 전이를 보이며, 공통된 기반이 되는 메커니즘이 있음을 시사한다.