[논문 리뷰] General mixing time bounds for finite Markov chains via the absolute spectral gap

Daniel C. Jerison|arXiv (Cornell University)|2013. 10. 30.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 8

한 줄 요약

이 논문은 유한 마르코프 체인의 총 변동 혼합 시간에 대한 일반적인 상계를 제시하며, 가역성이나 기약성 조건 없이 상태공간 크기와 절대 스펙트럼 간격을 사용한다. 핵심 결과는 기존의 상계가 실패하는 비가역 체인을 다룰 수 있는 순서 $N t_{\text{rel}} \log t_{\text{rel}}$ 의 유한한 상계이며, 비음수 고유값을 가진 가역 체인에 대해서는 기하학적 강력한 정적 시간을 활용한 더 날카운 상계를 도출한다.

ABSTRACT

We prove an upper bound on the total variation mixing time of a finite Markov chain in terms of the absolute spectral gap and the number of elements in the state space. Unlike results requiring reversibility or irreducibility, this bound is finite whenever the chain converges. The dependence on the number of elements means that the new bound cannot capture the behavior of rapidly mixing chains; but an example shows that such dependence is necessary. We also provide a sharpened result for reversible chains that are not necessarily irreducible. The proof of the general bound exploits a connection between linear recurrence relations and Schur functions due to Hou and Mu, while the sharpened bound for reversible chains arises as a consequence of the stochastic interpretation of eigenvalues developed by Diaconis, Fill, and Miclo. In particular, for every reversible chain with nonnegative eigenvalues $β_j$ we find a strong stationary time whose law is the sum of independent geometric random variables having mean $1/(1-β_j)$.

연구 동기 및 목표

• 모든 유한 마르코프 체인에 대해 가역성 또는 기약성 조건 없이 총 변동 혼합 시간에 대한 유한한 상계를 제공하는 것.
• 기존 상계에서 $\log \pi_{\text{min}}^{-1}$ 에 대한 의존성을 상태공간 크기 $N$ 에 대한 의존성으로 대체하여, 비가역 체인에 필수적인 조건로 만든다.
• 고유값의 확률적 해석과 기하학적 강력한 정적 시간을 활용해 비음수 고유값을 가진 가역 체인에 대해 더 날카운 상계를 수립하는 것.
• 비가역 체인을 구성함으로써 일반 상계의 $N$-의존성이 필수적임을 보여주는 것. 이 체인의 혼합 시간은 $\Theta(N t_{\text{rel}})$ 이다.

제안 방법

• 후와 무의 접근을 통해 선형 재귀관계와 셀러 함수 사이의 연결을 활용해 일반 상계를 유도하는 것.
• 디아콘스, 필, 미클로가 개발한 고유값의 확률적 해석을 응용하여, 평균 $1/(1 - \beta_j)$ 를 가진 독립적인 기하확률변수들의 합으로서 강력한 정적 시간을 구성하는 것.
• 이항계수 추정과 $\beta_\star^{t - (N-2)}$ 에 대한 경계를 활용해 총 변동 거리에 대한 상계를 도출하는 것.
• 부등식에서 $t$ 를 위한 로그 표현식을 경계하기 위해 오목 함수 선형화 기법을 사용하는 것.
• factorials 항을 단순화하기 위해 스타링의 근사식 $\log d! \geq d \log d - d + 1$ 을 활용하는 것.
• $\beta_\star = 0$ 과 $\beta_\star > 0$ 의 경우에 대해 귀류법과 케이스 분석을 통해 모든 경우에 상계가 성립함을 보장하는 것.

실험 결과

연구 질문

• RQ1 절대 스펙트럼 간격과 상태공간 크기만을 사용하여, 가역성 또는 기약성 조건 없이 모든 유한 마르코프 체인에 대해 혼합 시간에 대한 유한한 상계를 도출할 수 있는가?
• RQ2 비가역 체인의 혼합 시간 상계에서 $N$-의존성이 필수적인가, 이를 피할 수 있는가?
• RQ3 가역성 조건 하에서 일반 상계의 $\log t_{\text{rel}}$ 요소를 제거할 수 있는가?
• RQ4 기존 상계(예: Proposition 1.1)와 비교했을 때, $\pi_{\text{min}}$ 에 대한 의존성 측면에서 신규 상계는 어떻게 되는가?
• RQ5 비가역 체인의 실제 혼합 시간에 비해 상계의 날카움은 어느 정도인가?

주요 결과

• 일반 혼합 시간 상계는 $t_{\text{mix}}(\varepsilon) \leq 2N t_{\text{rel}} \log t_{\text{rel}} + 4(1 + \log 2)N t_{\text{rel}} + 2(\log \varepsilon^{-1} - 1)t_{\text{rel}}$ 이며, $\beta_\star < 1$ 인 모든 유한 마르코프 체인에 대해 유효하다.
• 이 상계는 $\pi_{\text{min}} = 0$ 인 경우에도 유한하며, Proposition 1.1 와는 달리, 비가역 체인의 혼합 시간이 $\Theta(N t_{\text{rel}})$ 인 예시를 통해 $N$-의존성이 필수적임을 입증한다.
• 비음수 고유값을 가진 가역 체인의 경우 상계는 $t_{\text{mix}}(\varepsilon) \leq 2\left(N + 2\log \varepsilon^{-1} - 1 + \sqrt{2(N-2)\log \varepsilon^{-1}}\right)t_{\text{rel}}$ 로 개선되며, 이는 $\log t_{\text{rel}}$ 요소를 제거한다.
• 증명 기법은 셀러 함수와 선형 재귀관계 사이의 연결과, 평균 $1/(1 - \beta_j)$ 를 가진 독립 기하확률변수들의 합으로서 강력한 정적 시간을 구성하는 데 기반한다.
• 상계는 $t$ 가 $N-1$ 근처일 땐 날카롭지 않지만, $t$ 가 $N t_{\text{rel}} \log t_{\text{rel}}$ 수준일 때 효과적으로 작용한다.
• $\log t_{\text{rel}}$ 항은 증명의 산물일 수 있으며, 혼합 시간이 $O(N t_{\text{rel}})$ 보다 느린 체인이 알려져 있지 않아 이 요소가 필수적인지 여부는 여전히 열려있다.