[논문 리뷰] Estimating the Spectral Gap of a Reversible Markov Chain from a Short Trajectory

David Levin, Yuval Peres|arXiv (Cornell University)|2016. 12. 16.

Markov Chains and Monte Carlo Methods참고 문헌 1인용 수 8

한 줄 요약

이 논문은 단일의 짧은 궤적(길이 𝒪̃(1/(π⋆γ)))를 사용하여 가역 마코프 체인의 스펙트럴 갭 γ에 대한 새로운 추정기(_estimator)를 제안한다. 이는 이전의 𝒪̃(1/(π⋆γ³)) bound에 비해 크게 향상된 결과이다. 방법은 '건너뛰는 체인'(skipped chains)의 다중 척도 분석을 통해 γ_A가 0에서 벗어나 있는 지점 A를 식별하고, 그 후 HKS 추정기를 γ_A에 적용한 후 이를 다시 γ로 변환하여 고확률 및 상수 요인 정확도로 γ를 추정한다.

ABSTRACT

The spectral gap $γ$ of an ergodic and reversible Markov chain is an important parameter measuring the asymptotic rate of convergence. In applications, the transition matrix $P$ may be unknown, yet one sample of the chain up to a fixed time $t$ may be observed. Hsu, Kontorovich, and Szepesvari (2015) considered the problem of estimating $γ$ from this data. Let $π$ be the stationary distribution of $P$, and $π_\star = \min_x π(x)$. They showed that, if $t = ilde{O}\bigl(\frac{1}{γ^3 π_\star}\bigr)$, then $γ$ can be estimated to within multiplicative constants with high probability. They also proved that $ ildeΩ\bigl(\frac{n}γ\bigr)$ steps are required for precise estimation of $γ$. We show that $ ilde{O}\bigl(\frac{1}{γπ_\star}\bigr)$ steps of the chain suffice to estimate $γ$ up to multiplicative constants with high probability. When $π$ is uniform, this matches (up to logarithmic corrections) the lower bound of Hsu, Kontorovich, and Szepesvari.

연구 동기 및 목표

• 단일의 짧은 궤적만 관측 가능한 경우, 가역 마코프 체인의 스펙트럴 갭 γ를 추정하는 문제를 다루는 것.
• 이전 작업에 비해 γ를 상수 요인 내로 추정하기 위해 필요한 단계 수를 줄이는 것.
• γ의 상수 요인 추정에 대해 샘플 복잡도 𝒪̃(1/(π⋆γ))을 달성하여 알려진 하한선 𝒪̃(1/(π⋆γ))과 로그 인자 외에는 일치시키는 것.
• 에르고딕성과 가역성 외에 최소한의 가정만을 필요로 하는 실용적이고 이론적으로 타당한 추정기를 개발하는 것.

제안 방법

• 메서드는 A = 2^k 형태의 레그 값에 대한 다중 척도 탐색을 통해, 건너뛰는 체인 {X_{As}}의 스펙트럴 갭 γ_A가 0에서 벗어나 있는 첫 번째 A를 식별한다.
• 각 후보 A에 대해, 건너뛰는 체인의 궤적에 HKS 추정기를 적용하여 γ_A를 추정한다.
• 알고리즘은 추정된 γ_A가 0.31를 초과하는 첫 번째 A에서 멈추며, 이는 A가 너무 작거나 γ_A가 너무 작지 않음을 보장한다.
• 추정된 γ_A는 관계식 γ_A = 1 - (1 - γ)^A를 역으로 풀어 γ를 추정하기 위해 함수 h(x) = 1 - (1 - x)^{1/A}를 사용하여 γ로 변환된다.
• 농도 불등식과 Theorem 2에서 유도된 HKS 추정기의 오차 한계를 활용하여 고확률 경계를 유도하며, 다중 척도에서의 실패 확률를 철저히 통제한다.
• 최종 추정기는 선택된 건너뛰는 체인에서 HKS 추정기를 적용하고, 부드러운 변환을 통해 γ를 복원함으로써 구성된다.

실험 결과

연구 질문

• RQ1 짧은 궤적 길이 𝒪̃(1/(π⋆γ))로, 가역 마코프 체인의 스펙트럴 갭 γ를 상수 요인 내로 추정할 수 있는가?
• RQ2 기존 알려진 하한선 𝒪̃(1/(π⋆γ))과 로그 인자 외에는 일치하는 샘플 복잡도를 달성할 수 있는가?
• RQ3 스펙트럴 갭 γ_A가 0에서 벗어나 있는 적절한 레그 A를 어떻게 식별할 수 있는가? 이는 P^A의 건너뛰는 체인에서 가능하다.
• RQ4 γ_A = 1 - (1 - γ)^A에서 γ_A의 추정치로부터 γ의 추정치를 회복하기 위해 필요한 변환은 무엇인가?

주요 결과

• 논문은 고확률로 상수 요인 내에서 스펙트럴 갭 γ를 추정하기 위해 𝒪̃(1/(π⋆γ)) 단계로 충분함을 입증한다.
• π가 균일할 경우, 제안된 추정기는 알려진 하한선 𝒪̃(1/(π⋆γ))과 로그 인자 외에는 일치하는 샘플 복잡도를 달성한다.
• 메서드는 2의 거듭제곱에 대한 두배 증가 탐색(doubling search)을 통해 A를 식별함으로써, γ_A가 0에서 벗어나 있고 따라서 높은 신뢰도로 추정 가능한 상태를 보장한다.
• γ_A에서 γ로의 변환은 구간 [0.29, 0.55]에서 부드럽고 리프시츠 조건을 만족하므로, γ_A로부터의 오차 전파가 제한되어 안정적인 γ 추정이 가능하다.
• t > (1/(π⋆γε²)) · 𝒪̃(log 항목)을 만족할 경우, 최종 추정기는 |γ̃/γ - 1| < ε를 확률 1 - δ 이상로 만족한다. 여기서 로그 항목은 n, δ⁻¹, γ⁻¹, π⋆⁻¹에 의존한다.
• Hsu, Kontorovich, 및 Szepesvári의 이전 작업에 비해 개선되었으며, 동일한 정확도를 확보하기 위해 이전에는 𝒪̃(1/(π⋆γ³)) 단계가 필요로 했으나, 본 논문은 이를 초월한다.