[논문 리뷰] On the limitations of single-step drift and minorization in Markov chain convergence analysis

Qian Qin, James P. Hobert|arXiv (Cornell University)|2020. 03. 21.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 4

한 줄 요약

이 논문은 고차원 마르코프 체인에서 단일 단계의 드리프트 및 마이너라이제이션 조건(d&m)에 기반한 수렴 속도 경계가 본질적으로 제한되어 있음을 보여주며, 종종 과도하게 보수적인 추정을 초래한다. d&m 조건 하에서 도달 가능한 최적 경계를 분석함으로써, 저자들은 이러한 방법이 진정으로 수렴 속도가 빠른 경우에도 고차원에서 빠른 혼합을 포착하지 못함을 보여준다.

ABSTRACT

Over the last three decades, there has been a considerable effort within the applied probability community to develop techniques for bounding the convergence rates of general state space Markov chains. Most of these results assume the existence of drift and minorization (d\&m) conditions. It has often been observed that convergence rate bounds based on single-step d\&m tend to be overly conservative, especially in high-dimensional situations. This article builds a framework for studying this phenomenon. It is shown that any convergence rate bound based on a set of d\&m conditions cannot do better than a certain unknown optimal bound. Strategies are designed to put bounds on the optimal bound itself, and this allows one to quantify the extent to which a d\&m-based convergence rate bound can be sharp. The new theory is applied to several examples, including a Gaussian autoregressive process (whose true convergence rate is known), and a Metropolis adjusted Langevin algorithm. The results strongly suggest that convergence rate bounds based on single-step d\&m conditions are quite inadequate in high-dimensional settings.

연구 동기 및 목표

• 단일 단계의 드리프트 및 마이너라이제이션(d&m) 기반 수렴 속도 경계가 왜 고차원 설정에서 종종 과도하게 보수적인지 조사하는 것.
• 주어진 d&m 조건 하에서 도달 가능한 최적 경계를 정량화하는 프레임워크를 개발하여 d&m 기반 경계의 이론적 한계를 연구하는 것.
• d&m 방법이 고차원 문제에 대해 본질적으로 부적합한지 여부를 진짜 수렴 속도와의 비교를 통해 평가하는 것.
• 구체적인 예시들, 예를 들어 가우시안 자동재귀 과정과 메트로폴리스 조정 랑주 방식 알고리즘에 프레임워크를 적용하여 실용적 한계를 보여주는 것.

제안 방법

• 주어진 d&m 조건를 사용할 때 도달 가능한 최적 수렴 속도 경계를 분석하기 위한 이론적 프레임워크를 제안하는 것.
• 주어진 마르코프 체인에 대해 가능한 모든 d&m 기반 수렴 속도 상한 중에서 최소값으로서 최적 경계를 정의하는 것.
• 이중변수 드리프트 조건과 커플링 기법을 사용하여 d&m 기반 수렴 속도의 하한을 유도하는 것.
• 특정 예시들, 예를 들어 가우시안 자동재귀 과정과 메트로폴리스 조정 랑주 알고리즘에 프레임워크를 적용하여 성능을 평가하는 것.
• 농도 불등식과 尾 꼬리 경계(예: Φ(·))를 사용하여 고차원에서의 수렴 속도 경계의 渐近적 행동을 정량화하는 것.
• 총 변동 거리와 양수 ρ*(P)를 진짜 수렴 속도로 정의하여 d&m 기반 상한과 비교하는 것.

실험 결과

연구 질문

• RQ1 고차원 마르코프 체인에서 d&m 기반 수렴 속도 경계는 얼마나 제한되어 있는가?
• RQ2 d&m를 통해 도달 가능한 최적 수렴 속도 경계는 정량화할 수 있으며, 진짜 수렴 속도와 비교해 볼 때 어떻게 되는가?
• RQ3 왜 d&m 기반 경계는 종종 과도하게 보수적인가, 이는 방법론적 결함 때문이냐, 본질적 한계 때문인가?
• RQ4 d&m 기반 경계는 고차원 타겟 분포에서 빠른 혼합을 얼마나 심각하게 포착하지 못하는가?
• RQ5 이 프레임워크를 사용하여 d&m 방법이 고차원 MCMC 수렴 분석에 본질적으로 부적합하다는 것을 입증할 수 있는가?

주요 결과

• 고차원 설정에서 단일 단계 d&m 조건를 사용한 최적 수렴 속도 경계는 진짜 수렴 속도 ρ*(P)보다 엄격히 열악하다.
• 가우시안 자동재귀 과정의 경우, d&m 기반 경계가 알려진 진짜 수렴 속도보다 상당히 느슨하다고 밝혀졌다.
• 메트로폴리스 조정 랑주 알고리즘에서는 d&m 기반 경계가 차원이 증가함에 따라 급격히 악화되어 본질적 부적합성이 드러났다.
• 프레임워크는 d&m 기반 경계가 어떤 한계 이하의 수렴 속도를 달성할 수 없음을 드러내었으며, 이는 진짜 속도가 빠를 때조차도 마찬가지였다.
• d&m 하에서 최적 경계의 渐近적 행동은 차원이 증가함에 따라 1에 수렴함을 보여주어 고차원에서의 열악한 성능을 확인하였다.
• 분석은 d&m 기반 경계가 단일 단계 전이 커널의 구조에 의해 본질적으로 제한되며, 드리프트 함수의 부적절한 선택 때문이 아니라는 것을 확인하였다.