[논문 리뷰] Mixing Time Estimation in Ergodic Markov Chains from a Single Trajectory with Contraction Methods

Geoffrey Wolfer|arXiv (Cornell University)|2019. 12. 14.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 5

한 줄 요약

이 논문은 전이 커널에 대한 사전 지식 없이 단일 궤적에서부터 비가역성 여부에 관계없이 에르고딕 마르코프 체인의 혼합 시간 $t_{\mathsf{mix}}$를 직접 추정하는 새로운 수축 기반 방법을 제안한다. 일반화된 도브루시니 계수 $\kappa_{\mathsf{gen}}$를 정의함으로써, $t_{\mathsf{mix}}$를 소수의 보편 상수 수준에서 제어하는 데이터 기반 신뢰구간을 제공하며, 이는 이전의 스펙트럼 방법이 이완 시간 $t_{\mathsf{rel}}$를 대체로 사용하는 것보다 우월하다.

ABSTRACT

The mixing time $t_{\mathsf{mix}}$ of an ergodic Markov chain measures the rate of convergence towards its stationary distribution $\boldsymbol{\pi}$. We consider the problem of estimating $t_{\mathsf{mix}}$ from one single trajectory of $m$ observations $(X_1, . . . , X_m)$, in the case where the transition kernel $\boldsymbol{M}$ is unknown, a research program started by Hsu et al. [2015]. The community has so far focused primarily on leveraging spectral methods to estimate the relaxation time $t_{\mathsf{rel}}$ of a reversible Markov chain as a proxy for $t_{\mathsf{mix}}$. Although these techniques have recently been extended to tackle non-reversible chains, this general setting remains much less understood. Our new approach based on contraction methods is the first that aims at directly estimating $t_{\mathsf{mix}}$ up to multiplicative small universal constants instead of $t_{\mathsf{rel}}$. It does so by introducing a generalized version of Dobrushin's contraction coefficient $\kappa_{\mathsf{gen}}$, which is shown to control the mixing time regardless of reversibility. We subsequently design fully data-dependent high confidence intervals around $\kappa_{\mathsf{gen}}$ that generally yield better convergence guarantees and are more practical than state-of-the-art.

연구 동기 및 목표

• 단일 궤적에서부터 이완 시간 $t_{\mathsf{rel}}$를 대체로 사용하는 것 없이, 에르고딕 마르코프 체인의 혼합 시간 $t_{\mathsf{mix}}$를 직접 추정하는 것.
• 기존의 스펙트럼 방법의 한계를 극복하여, 주로 가역 체인에 국한되어 있으며 $t_{\mathsf{mix}}$를 직접 제어하지 못하는 점을 해결하는 것.
• 가역성 여부에 관계없이 작동하는 방법을 개발하여 $t_{\mathsf{mix}}$에 대해 보편적인 곱셈형 보장을 제공하는 것.
• 관측된 궤적에 완전히 의존하는 고신뢰도 구간을 구성하여 일반화된 수축 계수 $\kappa_{\mathsf{gen}}$에 대해 실용적인 적용성을 확보하는 것.

제안 방법

• 가역성 여부에 관계없이 혼합 시간을 제어할 수 있는 일반화된 도브루시니 수축 계수 $\kappa_{\mathsf{gen}}$를 도입한다.
• $\kappa_{\mathsf{gen}}$를 전이 커널 간의 최대 수축 정도로 정의하여, 고전적 도브루시니 계수를 비가역 설정으로 확장한다.
• 단일 궤적에서의 $m$개 관측치를 이용해 $\kappa_{\mathsf{gen}}$의 데이터 기반 추정기법을 설계하여 비점근적 신뢰구간을 가능하게 한다.
• 이론적 경계를 통해 $\kappa_{\mathsf{gen}}$가 가역성과 무관하게 $t_{\mathsf{mix}}$를 보편 상수 수준에서 제어함을 증명한다.
• 집중 부등식을 사용해 추정된 $\kappa_{\mathsf{gen}}$ 주위의 고신뢰도 구간을 유도하여 유한 표본에서의 타당성을 확보한다.
• 결과적으로 유한 표본에서의 타당성을 보장하는 구간이 기존 최첨단 스펙트럼 방법보다 더 날카우며 실용적인 수렴 보장을 제공함을 보여준다.

실험 결과

연구 질문

• RQ1 비가역성을 가정하지 않고 단일 궤적에서부터 혼합 시간 $t_{\mathsf{mix}}$를 직접 추정할 수 있는 데이터 기반 방법이 존재하는가?
• RQ2 가역성 여부에 관계없이 $t_{\mathsf{mix}}$를 제어할 수 있는 일반화된 수축 계수 $\kappa_{\mathsf{gen}}$가 존재하는가?
• RQ3 단일 궤적만으로도 유한 표본 타당성을 보장하는 $\kappa_{\mathsf{gen}}$에 대한 고신뢰도 구간을 구성할 수 있는가?
• RQ4 제안된 방법의 수렴 보장은 $t_{\mathsf{mix}}$를 대체로 사용하는 $t_{\mathsf{rel}}$를 추정하는 스펙트럼 방법과 비교해 어떻게 다를까?
• RQ5 전이 커널에 대한 사전 지식 없이도 $t_{\mathsf{mix}}$에 대해 곱셈형 오차 한계를 달성할 수 있는가?

주요 결과

• 일반화된 수축 계수 $\kappa_{\mathsf{gen}}$는 비가역 체인에 대해서도 $t_{\mathsf{mix}}$를 보편 상수 수준에서 제어한다.
• 이 방법은 $\kappa_{\mathsf{gen}}$에 대해 데이터 기반의 구간을 제공하며, 이는 이전의 스펙트럼 기법보다 더 날카우며 실용적인 수렴 보장을 제공한다.
• 이론적 경계는 비점근적이며, 가역성 여부에 관계없이 모든 에르고딕 마르코프 체인에 대해 유효하다.
• 이 방법은 관측된 궤적에 완전히 적응적이며, 전이 커널에 대한 사전 지식이 필요하지 않다.
• $\kappa_{\mathsf{gen}}$의 구간은 집중 부등식을 사용해 구성되어 있어, 유한 표본 타당성과 실용적 사용성을 보장한다.