[논문 리뷰] Coupling and Decoupling to bound an approximating Markov Chain

JE Johndrow, JC Mattingly|arXiv (Cornell University)|2017. 06. 07.

Statistical Methods and Inference참고 문헌 7인용 수 5

한 줄 요약

이 논문은 두 마르코프 체인—정확한 체인과 근사 체인—사이의 근사 오차를 최대한의 경로적 일치를 통해 유계로 만드는 커플링 기반 방법을 제안한다. 커플링/디커플링 사건을 추적하기 위해 지배적인 이중 상태 체인을 사용하여, 불변 측도와 수렴 속도에 대한 명시적 총 변동 오차 한계를 도출한다. 이로써 근사 오차가 커널 거리 $\epsilon$에 대해 선형으로 증가하고 도블린 계수 $a$에 대해 반비례함을 보여주며, 증명 가능하고 정확도가 보장된 효율적 MCMC를 가능하게 한다.

ABSTRACT

This simple note lays out a few observations which are well known in many ways but may not have been said in quite this way before. The basic idea is that when comparing two different Markov chains it is useful to couple them is such a way that they agree as often as possible. We construct such a coupling and analyze it by a simple dominating chain which registers if the two processes agree or disagree. We find that this imagery is useful when thinking about such problems. We are particularly interested in comparing the invariant measures and long time averages of the processes. However, since the paths agree for long runs, it also provides estimates on various stopping times such as hitting or exit times. We also show that certain bounds are tight. Finally, we provide a simple application to a Markov Chain Monte Carlo algorithm and show numerically that the results of the paper show a good level of approximation at considerable speed up by using an approximating chain rather than the original sampling chain.

연구 동기 및 목표

• 목표 마르코프 체인과 그 계산 비용이 낮은 대체 체인 사이의 근사 오차를 정량화하는 프레임워크를 개발하기 위해.
• 빠른 근사 MCMC 알고리즘의 통계적 타당성을 확보하기 위해 그들의 불변 측도 간의 이질성에 대한 오차 한계를 설정함으로써 도전 과제를 해결하기 위해.
• 가우시안 프로세스 모델에서의 저질서 근사에 대해 실용적이고 이론적으로 탄탄한 방법으로 검증을 제공하기 위해.
• 커플링 기법이 실제 MCMC 알고리즘에 적용 가능한 날카운 오차 한계를 도출할 수 있음을 보여주기 위해.

제안 방법

• 두 마르코프 체인의 최대 커플링을 구성하여 경로적 일치를 최대화하고, 커플링/디커플링 사건을 추적하기 위해 지배적인 이중 상태 체인을 사용한다.
• 각 단계에서 두 과정이 커플링되어 있는지 여부를 기록하는 경계 체인을 정의하여 커플링 시간과 이질성 확률을 분석할 수 있도록 한다.
• 포isson 방정식과 마틴갈 방법을 적용하여 커플링까지의 기대 시간과 불변 측도 간의 총 변동 거리에 대한 오차 한계를 유도한다.
• 도블린 조건을 사용하여 기하학적 에르고디시티를 확립하고, 커널 거리 $\\epsilon$과 도블린 계수 $a$에 대한 명시적 오차 한계를 도출한다.
• 이 프레임워크를 가우시안 프로세스 모델의 저질서 근사에 적용하여 $\mathcal{O}(n^3)$ 행렬 역행렬 계산을 $\mathcal{O}(n^2 q)$ 저질서 대체 계산으로 대체한다.
• 베이지안 공간 모델에서 이론적 한계를 수치적으로 검증하여, 근사 체인이 높은 정확도를 유지하면서도 상당한 계산 속도 향상을 달성함을 보였다.

실험 결과

연구 질문

• RQ1 두 마르코프 체인의 전이 커널이 총 변동 거리에서 유사할 경우, 그들의 불변 측도 간의 총 변동 거리를 어떻게 유계로 만들 수 있는가?
• RQ2 두 마르코프 체인을 최대한의 일치를 이루도록 커플링하기 위해 가장 적절한 방법은 무엇인가?
• RQ3 커플링 상태를 추적하는 단순한 이중 상태 보조 체인을 통해 커플링 시간과 이질성 확률을 분석할 수 있는가?
• RQ4 이론적 오차 한계는 커널 거리 $\epsilon$과 도블린 계수 $a$에 대해 어떻게 스케일링되는가?
• RQ5 마르코프 커널의 저질서 근사는 원래 체인의 통계적 성질을 어느 정도 유지할 수 있으며, 이를 어떻게 정량화할 수 있는가?

주요 결과

• 원본 체인과 근사 체인의 불변 측도 간의 총 변동 거리는 $\|\mu - \mu_\epsilon\|_{TV} \leq \frac{\epsilon}{a}$로 유계로 되어 있으며, 여기서 $\epsilon$은 커널 거리이고 $a$는 도블린 계수이다.
• 커플링 구성은 시간이 지남에 따라 체인이 높은 확률로 커플링되도록 보장하며, 보조 이중 상태 체인을 통해 커플링 시간 분포를 분석할 수 있다.
• 오차 한계는 반례를 구성하여 한계가 날카롭게 작용함을 입증하여 날카로운 것으로 확인되었다.
• 시간 평균의 수렴 속도에 대한 계산 가능한 오차 한계를 제공하며, 분산 한계는 $\mathcal{O}(1/n)$ 스케일을 보이고, 농도 불등식은 $\mathbf{P}(|\mu f - \frac{1}{n}\sum f(X_k)| \geq \lambda) \leq 2\exp(-\frac{a^2\lambda^2}{32})$ 형태를 가진다.
• 가우시안 프로세스 모델에서 저질서 근사 $\Sigma_\epsilon$는 $\epsilon \ll a + \epsilon$ 조건을 만족하여 $\mathcal{O}(n^3)$ 대신 $\mathcal{O}(n^2 q)$ 계산으로 빠르게 수행되면서도 통계적 정밀도를 유지한다.
• 수치 실험을 통해 근사 체인이 원본 체인과 유사한 결과를 도출하며, 상당한 속도 향상과 실질적으로 유효한 오차 한계를 확보함을 확인하였다.