[论文解读] Estimating the Mixing Time of Ergodic Markov Chains

Geoffrey Wolfer, Aryeh Kontorovich|arXiv (Cornell University)|Feb 1, 2019

Markov Chains and Monte Carlo Methods参考文献 48被引用 6

一句话总结

该论文提出了一种新颖的方法，仅从单一轨迹中估计一般遍历有限马尔可夫链的混合时间，通过引入伪谱间隙作为关键估计量，克服了非可逆设置下的局限性。该方法在状态数和最小平稳概率上实现多项式依赖，达到极小化最优样本复杂度，并构建了完全基于经验的置信区间，其收敛速率优于以往工作。

ABSTRACT

We address the problem of estimating the mixing time $t_{\mathsf{mix}}$ of an arbitrary ergodic finite-state Markov chain from a single trajectory of length $m$. The reversible case was addressed by Hsu et al. [2019], who left the general case as an open problem. In the reversible case, the analysis is greatly facilitated by the fact that the Markov operator is self-adjoint, and Weyl's inequality allows for a dimension-free perturbation analysis of the empirical eigenvalues. As Hsu et al. point out, in the absence of reversibility (which induces asymmetric pair probabilities matrices), the existing perturbation analysis has a worst-case exponential dependence on the number of states $d$. Furthermore, even if an eigenvalue perturbation analysis with better dependence on $d$ were available, in the non-reversible case the connection between the spectral gap and the mixing time is not nearly as straightforward as in the reversible case. Our key insight is to estimate the pseudo-spectral gap $γ_{\mathsf{ps}}$ instead, which allows us to overcome the loss of symmetry and to achieve a polynomial dependence on the minimal stationary probability $π_\star$ and $γ_{\mathsf{ps}}$. Additionally, in the reversible case, we obtain simultaneous nearly (up to logarithmic factors) minimax rates in $t_{\mathsf{mix}}$ and precision $\varepsilon$, closing a gap in Hsu et al., who treated $\varepsilon$ as constant in the lower bounds. Finally, we construct fully empirical confidence intervals for $γ_{\mathsf{ps}}$, which shrink to zero at a rate of roughly $1/\sqrt{m}$, and improve the state of the art in even the reversible case.

研究动机与目标

• 从单一轨迹估计一般（非可逆）遍历马尔可夫链的混合时间，填补先前工作中留下的空白。
• 通过使用伪谱间隙而非谱间隙，克服非可逆设置下对状态规模的指数依赖。
• 实现估计混合时间和平稳分布参数的极小化最优样本复杂度。
• 构建完全基于经验的伪谱间隙和混合时间的置信区间，其收缩速率为 $1/\sqrt{m}$。
• 通过更紧密的分析和更高的计算效率，在可逆与非可逆情况下均优于现有最先进方法。

提出的方法

• 论文引入伪谱间隙 $\gamma_{\mathsf{ps}}$ 作为非可逆链中谱间隙的代理，从上下两个方向控制混合时间。
• 推导了基于对称化经验转移矩阵的平稳分布扰动界，实现在非可逆情况下的稳健估计。
• 利用矩阵鞅集中不等式（如Freedman型界）控制经验估计量与真实值之间的偏差。
• 构建了完全基于经验的 $\gamma_{\mathsf{ps}}$ 和 $\pi_\star$ 的置信区间，无需事先知道 $t_{\mathsf{mix}}$ 或 $\pi_\star$。
• 通过转移矩阵的乘法可逆化方法，将伪谱间隙与混合时间界关联起来。
• 建立了样本复杂度的极小化下界，与上界仅相差对数因子，证明了方法的最优性。

实验结果

研究问题

• RQ1 能否在状态数和最小平稳概率上实现多项式依赖，以估计一般遍历马尔可夫链的混合时间？
• RQ2 如何克服非可逆链中缺乏自伴性的缺陷，以实现稳定且精确的估计？
• RQ3 在可逆与非可逆设置下，估计混合时间和平稳分布的极小化样本复杂度是多少？
• RQ4 能否在不预先知道链参数的情况下，构建完全基于经验的混合时间置信区间？
• RQ5 与现有方法相比，该估计量在样本效率和计算成本方面表现如何？

主要发现

• 估计 $\pi_\star$ 到相对误差 $\varepsilon$ 内的极小化样本复杂度为 $\tilde{\Theta}\left(\frac{t_{\mathsf{mix}}}{\varepsilon^2 \pi_\star}\right)$，即使在可逆情况下也优于先前的界限。
• 估计伪谱间隙 $\gamma_{\mathsf{ps}}$ 到绝对误差 $\varepsilon$ 内的样本复杂度上界为 $\tilde{\mathcal{O}}\left(\frac{\max\{t_{\mathsf{mix}}, \mathcal{C}(\boldsymbol{M})\}}{\pi_\star \varepsilon^2}\right)$，其中 $\mathcal{C}(\boldsymbol{M}) \leq d / \pi_\star$。
• 建立了估计 $t_{\mathsf{mix}}$ 的极小化下界 $\tilde{\Omega}\left(\frac{t_{\mathsf{mix}} d}{\varepsilon^2}\right)$，表明上界在对数因子内是紧的。
• 论文构建了完全基于经验的 $\gamma_{\mathsf{ps}}$ 和 $\pi_\star$ 的置信区间，其收缩速率为 $1/\sqrt{m}$，优于以往最先进的方法。
• 在可逆情况下，该方法在 $t_{\mathsf{mix}}$ 和 $\varepsilon$ 上均接近极小化率，弥补了Hsu等人（2019）留下的空白。
• 该分析为非可逆情况下的平稳分布提供了无维度依赖的扰动界，避免了先前工作中出现的对 $d$ 的指数依赖。