[论文解读] Estimating the Spectral Gap of a Reversible Markov Chain from a Short Trajectory

David Levin, Yuval Peres|arXiv (Cornell University)|Dec 16, 2016

Markov Chains and Monte Carlo Methods参考文献 1被引用 8

一句话总结

该论文提出了一种新型估计器，用于仅基于长度为𝒪̃(1/(π⋆γ))的短轨迹，估计可逆马尔可夫链的谱隙γ，显著优于先前𝒪̃(1/(π⋆γ³))的界。该方法通过多尺度分析‘跳变链’，识别出一个滞后A，使得谱隙γ_A远离零，然后对γ_A应用HKS估计器，并将其反向转换以高概率和常数因子精度估计γ。

ABSTRACT

The spectral gap $γ$ of an ergodic and reversible Markov chain is an important parameter measuring the asymptotic rate of convergence. In applications, the transition matrix $P$ may be unknown, yet one sample of the chain up to a fixed time $t$ may be observed. Hsu, Kontorovich, and Szepesvari (2015) considered the problem of estimating $γ$ from this data. Let $π$ be the stationary distribution of $P$, and $π_\star = \min_x π(x)$. They showed that, if $t = ilde{O}\bigl(\frac{1}{γ^3 π_\star}\bigr)$, then $γ$ can be estimated to within multiplicative constants with high probability. They also proved that $ ildeΩ\bigl(\frac{n}γ\bigr)$ steps are required for precise estimation of $γ$. We show that $ ilde{O}\bigl(\frac{1}{γπ_\star}\bigr)$ steps of the chain suffice to estimate $γ$ up to multiplicative constants with high probability. When $π$ is uniform, this matches (up to logarithmic corrections) the lower bound of Hsu, Kontorovich, and Szepesvari.

研究动机与目标

• 解决仅观察到短轨迹时，对可逆马尔可夫链谱隙γ的估计问题。
• 将估计γ所需的步数减少到常数因子范围内，优于先前工作。
• 实现γ的常数因子估计的样本复杂度为𝒪̃(1/(π⋆γ))，与已知下界在对数因子内匹配。
• 开发一种在最小假设下（仅要求遍历性和可逆性）实用且理论基础坚实的估计器。

提出的方法

• 该方法在滞后值A = 2^k上进行多尺度搜索，以识别首个满足跳变链{X_{As}}的谱隙γ_A远离零的A。
• 对每个候选A，将HKS估计器应用于跳变链的轨迹以估计γ_A。
• 当估计的γ_A首次超过0.31时停止，确保A不过小且γ_A不过小。
• 通过函数h(x) = 1 - (1 - x)^{1/A}将估计的γ_A反向转换为γ的估计，该函数逆向对应关系γ_A = 1 - (1 - γ)^A。
• 利用集中不等式和定理2中HKS估计器的误差界，仔细控制多尺度下的失败概率，推导出高概率界。
• 最终估计器通过在选定的跳变链上结合HKS估计器，并应用平滑变换以恢复γ。

实验结果

研究问题

• RQ1 能否仅使用长度𝒪̃(1/(π⋆γ))的短轨迹，以常数因子精度估计可逆马尔可夫链的谱隙γ？
• RQ2 是否可以实现与已知下界𝒪̃(1/(π⋆γ))在对数因子内匹配的样本复杂度？
• RQ3 如何识别一个合适的滞后A，使得跳变链P^A的谱隙γ_A远离零，从而实现可靠估计？
• RQ4 从估计的γ_A = 1 - (1 - γ)^A恢复γ估计需要何种变换？

主要发现

• 论文证明了𝒪̃(1/(π⋆γ))步数足以以高概率将谱隙γ估计到常数因子范围内。
• 所提出的估计器在π为均匀分布时，其样本复杂度与已知下界𝒪̃(1/(π⋆γ))在对数因子内匹配。
• 该方法通过在2的幂次上进行倍增搜索识别滞后A，确保γ_A远离零，从而可高置信度估计。
• 从γ_A到γ的变换在区间[0.29, 0.55]上是光滑且Lipschitz连续的，从而实现从γ_A到γ的稳定估计，且误差传播有界。
• 当t > (1/(π⋆γε²)) · 𝒪̃(log terms)时，最终估计器满足|γ̃/γ - 1| < ε，其失败概率不超过δ，其中log项依赖于n、δ⁻¹、γ⁻¹和π⋆⁻¹。
• 该结果优于Hsu、Kontorovich和Szepesvári的先前工作，后者为达到相同精度需要𝒪̃(1/(π⋆γ³))步数。