[논문 리뷰] Computable Convergence Rates for Subgeometrically Ergodic Markov Chains

Randal Douc, Éric Moulines외 1명|arXiv (Cornell University)|2005. 11. 10.

Markov Chains and Monte Carlo Methods참고 문헌 17인용 수 6

한 줄 요약

이 논문은 드리프트 및 마이너라이제이션 조건을 사용하여 하위기하적 에르고딕 마코프 체인의 계산 가능한 수렴 속도를 확립한다. 이는 로젠탈의 커플링 기반 경계를 일반 하위기하적 속도로 확장한 것으로, 일반 상태 공간에서 유효하며, 스토크라스틱 모노톤 체인과 MCMC 예제에 적용 가능한 $f$-총변동 거리의 명시적이고 계산 가능한 경계를 제공한다.

ABSTRACT

In this paper, we give quantitative bounds on the $f$-total variation distance from convergence of an Harris recurrent Markov chain on an arbitrary under drift and minorisation conditions implying ergodicity at a sub-geometric rate. These bounds are then specialized to the stochastically monotone case, covering the case where there is no minimal reachable element. The results are illustrated on two examples from queueing theory and Markov Chain Monte Carlo.

연구 동기 및 목표

• 하위기하적 에르고딕 마코프 체인에 대해 $f$-총변동 거리의 수렴 속도에 대한 명시적이고 계산 가능한 경계를 유도하는 것.
• 이전에 기하 속도에 대해서만 가능했던 로젠탈의 커플링 기반 경계를, $\log r(n)/n \downarrow 0$ 인 $\Lambda$ 내의 일반 하위기하 속도로 확장하는 것.
• 최소 도달 가능 원소가 없는 경우를 포함한 일반 상태 공간에 적용 가능한 프레임워크를 제공하는 것.
• 형태 $r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$ 의 정량적 경계를 $g(x)$ 가 명시적으로 계산 가능한 방식으로 확립하는 것.
• 큐잉 이론과 마코프 체인 몽테카를로(MCMC) 예제에서 이 방법을 적용하여 실용적 유용성을 검증하는 것.

제안 방법

• 린드발의 부등식에 기반한 커플링 구성법을 사용하여 수렴 경계를 커플링 시간의 모멘트와 연결한다.
• 드리프트 및 마이너라이제이션 조건을 적용하여 기대 커플링 시간의 경계를 유도하며, $\check{P}W(x,x') \leq W(x,x') - \phi \circ W(x,x') + b\mathbbm{1}_{C \times C}(x,x')$ 를 만족하는 리아푸노프 함수 $W$ 를 활용한다.
• 모멘트의 성장률을 제어하기 위해 로그-볼록 성질을 갖는 변환 함수 $\phi \circ H_\phi^{-1}(k)$ 를 도입한다.
• 경로를 커플링하고 소작합집합 $C \times C$ 에 도달하는 시간을 분석하기 위해 $\mathsf{X} \times \mathsf{X}$ 에서의 이변량 마코프 커널 $\check{P}$ 를 구성한다.
• 드리프트 조건 $\mathbb{E}_x[\sum_{k=0}^{\tau_B-1} r(k)f(X_k)] < \infty$ 를 활용하여 커플링 시간의 순환 모멘트 계산을 통해 경계를 도출한다.
• 스토크라스틱 모노톤 체인에 대해 $W_0(x)$ 를 정의하고 $K(u)$ 와 $\psi(\eta)$ 를 사용하여 $q(y)/\pi(y)$ 를 기반으로 한 드리프트를 제어한다.

실험 결과

연구 질문

• RQ1 일반적인 드리프트 및 마이너라이제이션 조건 하에서 하위기하적 에르고딕 마코프 체인에 대해 계산 가능한 수렴 속도를 도출할 수 있는가?
• RQ2 로젠탈의 커플링 기반 경계는 어떻게 $f$-노름에서 기하 속도에서 일반 하위기하 속도로 확장될 수 있는가?
• RQ3 어떤 조건이 $f$-총변동 거리 $\|P^n(x,\cdot) - \pi\|_f$ 가 계산 가능한 하위기하 속도로 감소하도록 보장하는가?
• RQ4 최소 원소가 존재하지 않는 스토크라스틱 모노톤 체인을 다루기 위해 이 방법은 어떻게 적응될 수 있는가?
• RQ5 이 프레임워크는 큐잉 시스템과 명시적인 속도 경계를 제공하는 MCMC 알고리즘과 같은 실용적 모델에 적용될 수 있는가?

주요 결과

• 논문은 $r(n) \in \Lambda$, 즉 하위기하 속도의 클래스에 대해 임의의 $r(n)$ 에 대해 $g(x)$ 가 명시적으로 계산 가능한 형태의 일반 경계 $r(n)\|P^n(x,\cdot) - \pi\|_f \leq g(x)$ 를 확립한다.
• 스토크라스틱 모노톤 케이스에서는 최소 원소가 존재하지 않더라도 경계를 도출할 수 있어 더 넓은 모델에의 적용 가능성을 확장한다.
• 커플링 기반 접근법은 수렴 경계를 자가 포함하는 증명을 제공하며, 누멜린과 투오미넨(1983) 및 투오미넨과 트위디(1994)의 이전 결과를 일반화하고 강화한다.
• 리아푸노프 함수 $W$ 가 $\check{P}W \leq W - \phi \circ W + b\mathbbm{1}_{C \times C}$ 를 만족하고, $\phi$ 가 $\phi \circ H_\phi^{-1}(k)$ 가 로그-볼록성을 갖도록 선택된 경우, $f$-노름에 대한 명시적 경계를 도출한다.
• 다항식 속도 $r(n) = n^\beta$ 와 더 일반적인 하위기하 속도, 특히 $\lim_{n \to \infty} r(n)n^{-\kappa} = \infty$ 를 만족하는 경우에도 계산 가능한 경계를 제공한다.
• 큐잉 모델과 MCMC 알고리즘 두 예제에 대해 이 프레임워크를 검증하여 명시적인 수렴 속도를 도출하는 데서 실용적 유용성을 입증한다.