[论文解读] General mixing time bounds for finite Markov chains via the absolute spectral gap

Daniel C. Jerison|arXiv (Cornell University)|Oct 30, 2013

Markov Chains and Monte Carlo Methods参考文献 25被引用 8

一句话总结

本文通过绝对谱间隙和状态空间大小，为有限马尔可夫链的总变差混合时间建立了一个通用上界，无需假设可逆性或不可约性。关键结果是阶为 $N t_{\text{rel}} \log t_{\text{rel}}$ 的有限上界，该上界捕捉了传统方法失效的非可逆链，并通过几何强平稳时间，为具有非负特征值的可逆链提供了更紧致的上界。

ABSTRACT

We prove an upper bound on the total variation mixing time of a finite Markov chain in terms of the absolute spectral gap and the number of elements in the state space. Unlike results requiring reversibility or irreducibility, this bound is finite whenever the chain converges. The dependence on the number of elements means that the new bound cannot capture the behavior of rapidly mixing chains; but an example shows that such dependence is necessary. We also provide a sharpened result for reversible chains that are not necessarily irreducible. The proof of the general bound exploits a connection between linear recurrence relations and Schur functions due to Hou and Mu, while the sharpened bound for reversible chains arises as a consequence of the stochastic interpretation of eigenvalues developed by Diaconis, Fill, and Miclo. In particular, for every reversible chain with nonnegative eigenvalues $β_j$ we find a strong stationary time whose law is the sum of independent geometric random variables having mean $1/(1-β_j)$.

研究动机与目标

• 为所有有限马尔可夫链提供一个关于总变差混合时间的有限上界，无论其是否可逆或不可约。
• 将现有上界中对 $\log \pi_{\text{min}}^{-1}$ 的依赖替换为对状态空间大小 $N$ 的依赖，这对非可逆链是必要的。
• 通过特征值的随机解释和几何强平稳时间，为具有非负特征值的可逆链建立更紧致的上界。
• 通过构造一个非可逆链，证明一般上界中的 $N$-依赖性是必要的，其混合时间为 $\Theta(N t_{\text{rel}})$。

提出的方法

• 利用 Hou 和 Mu 建立的线性递推关系与 Schur 函数之间的联系，推导出一般上界。
• 应用 Diaconis、Fill 和 Miclo 开发的特征值随机解释，将强平稳时间构造为独立几何随机变量之和，其期望为 $1/(1 - \beta_j)$。
• 通过二项式系数估计和对 $\beta_\star^{t - (N-2)}$ 的界，推导出总变差距离的上界。
• 采用凹函数线性化技术，以界定不等式中 $t$ 的对数表达式。
• 使用 Stirling 公式 $\log d! \geq d \log d - d + 1$ 简化上界中的阶乘项。
• 通过反证法和情况分析处理 $\beta_\star = 0$ 与 $\beta_\star > 0$ 的情形，确保上界在所有情况下均成立。

实验结果

研究问题

• RQ1 能否仅使用绝对谱间隙和状态空间大小 $N$，为所有有限马尔可夫链建立一个不依赖可逆性或不可约性假设的有限混合时间上界？
• RQ2 对于非可逆链，混合时间上界中的 $N$-依赖性是否必要，能否避免？
• RQ3 在可逆性条件下，一般上界中的 $\log t_{\text{rel}}$ 因子是否可以被消除？
• RQ4 与现有结果（如命题 1.1）相比，新上界在 $\pi_{\text{min}}$ 依赖性方面有何改进？
• RQ5 对于非可逆链，该上界在实际混合时间上的紧致性如何？

主要发现

• 一般混合时间上界为 $t_{\text{mix}}(\varepsilon) \leq 2N t_{\text{rel}} \log t_{\text{rel}} + 4(1 + \log 2)N t_{\text{rel}} + 2(\log \varepsilon^{-1} - 1)t_{\text{rel}}$，对所有满足 $\beta_\star < 1$ 的有限马尔可夫链均成立。
• 即使 $\pi_{\text{min}} = 0$ 时，该上界仍为有限值，而命题 1.1 不成立；通过构造一个混合时间为 $\Theta(N t_{\text{rel}})$ 的非可逆链，证明了 $N$-依赖性是必要的。
• 对于具有非负特征值的可逆链，上界改进为 $t_{\text{mix}}(\varepsilon) \leq 2\left(N + 2\log \varepsilon^{-1} - 1 + \sqrt{2(N-2)\log \varepsilon^{-1}}\right)t_{\text{rel}}$，从而消除了 $\log t_{\text{rel}}$ 因子。
• 证明技术依赖于 Schur 函数与线性递推关系之间的联系，以及将强平稳时间构造为独立几何随机变量之和（其期望为 $1/(1 - \beta_j)$）。
• 当 $t$ 接近 $N-1$ 时，该上界不够紧致，但在 $t$ 达到 $N t_{\text{rel}} \log t_{\text{rel}}$ 量级时变得有效。
• 由于尚未发现混合时间慢于 $O(N t_{\text{rel}})$ 的链，$\log t_{\text{rel}}$ 项可能是证明过程中的产物，其必要性尚不明确。