[论文解读] Mixing Time Estimation in Ergodic Markov Chains from a Single Trajectory with Contraction Methods

Geoffrey Wolfer|arXiv (Cornell University)|Dec 14, 2019

Markov Chains and Monte Carlo Methods参考文献 18被引用 5

一句话总结

该论文提出了一种基于收缩的新方法，可直接从单条轨迹估计遍历马尔可夫链的混合时间 $t_{\mathsf{mix}}$，而无需了解转移核。通过定义广义多braschin 系数 $\kappa_{\mathsf{gen}}$，该方法提供了数据相关的置信区间，可将 $t_{\mathsf{mix}}$ 控制在极小的通用常数范围内，优于以往依赖松弛时间 $t_{\mathsf{rel}}$ 作为代理的谱方法。

ABSTRACT

The mixing time $t_{\mathsf{mix}}$ of an ergodic Markov chain measures the rate of convergence towards its stationary distribution $\boldsymbol{\pi}$. We consider the problem of estimating $t_{\mathsf{mix}}$ from one single trajectory of $m$ observations $(X_1, . . . , X_m)$, in the case where the transition kernel $\boldsymbol{M}$ is unknown, a research program started by Hsu et al. [2015]. The community has so far focused primarily on leveraging spectral methods to estimate the relaxation time $t_{\mathsf{rel}}$ of a reversible Markov chain as a proxy for $t_{\mathsf{mix}}$. Although these techniques have recently been extended to tackle non-reversible chains, this general setting remains much less understood. Our new approach based on contraction methods is the first that aims at directly estimating $t_{\mathsf{mix}}$ up to multiplicative small universal constants instead of $t_{\mathsf{rel}}$. It does so by introducing a generalized version of Dobrushin's contraction coefficient $\kappa_{\mathsf{gen}}$, which is shown to control the mixing time regardless of reversibility. We subsequently design fully data-dependent high confidence intervals around $\kappa_{\mathsf{gen}}$ that generally yield better convergence guarantees and are more practical than state-of-the-art.

研究动机与目标

• 从单条轨迹直接估计遍历马尔可夫链的混合时间 $t_{\mathsf{mix}}$，而非依赖松弛时间 $t_{\mathsf{rel}}$ 作为代理。
• 克服现有谱方法的局限性，这些方法主要局限于可逆链，且无法直接控制 $t_{\mathsf{mix}}$。
• 开发一种适用于可逆与不可逆链的方法，为 $t_{\mathsf{mix}}$ 提供通用的乘法保证。
• 构建广义收缩系数 $\kappa_{\mathsf{gen}}$ 的完全数据依赖的高置信区间，确保实际可应用性。

提出的方法

• 引入广义多braschin 收缩系数 $\kappa_{\mathsf{gen}}$，其可控制混合时间，且不依赖于链的可逆性。
• 将 $\kappa_{\mathsf{gen}}$ 定义为转移核之间最大收缩的度量，将经典多braschin 系数扩展至不可逆情形。
• 利用包含 $m$ 个观测值的单条轨迹，设计 $\kappa_{\mathsf{gen}}$ 的数据驱动估计器，实现非渐近置信区间。
• 建立理论界，表明 $\kappa_{\mathsf{gen}}$ 可在不依赖可逆性的前提下，以通用常数控制 $t_{\mathsf{mix}}$。
• 利用集中不等式推导围绕估计的 $\kappa_{\mathsf{gen}}$ 的高置信区间，确保有限样本下的有效性。
• 证明由此产生的置信区间相比最先进的谱方法，能提供更紧致且更实用的收敛保证。

实验结果

研究问题

• RQ1 是否存在一种数据驱动的方法，可直接从单条轨迹估计混合时间 $t_{\mathsf{mix}}$，而无需假设可逆性？
• RQ2 是否存在一种广义收缩系数 $\kappa_{\mathsf{gen}}$，可同时控制可逆与不可逆链的 $t_{\mathsf{mix}}$？
• RQ3 能否仅使用单条轨迹构建 $\kappa_{\mathsf{gen}}$ 的高置信区间，以确保有限样本下的有效性？
• RQ4 所提出方法的收敛保证与那些估计 $t_{\mathsf{rel}}$ 而非 $t_{\mathsf{mix}}$ 的谱方法相比如何？
• RQ5 该方法能否在不依赖转移核先验知识的前提下，实现 $t_{\mathsf{mix}}$ 的乘法误差界？

主要发现

• 广义收缩系数 $\kappa_{\mathsf{gen}}$ 可在不依赖可逆性的前提下，以通用常数控制混合时间 $t_{\mathsf{mix}}$，即使在不可逆链中亦然。
• 该方法为 $\kappa_{\mathsf{gen}}$ 提供了数据相关的置信区间，其收敛保证比现有谱技术更紧致且更实用。
• 该方法直接估计 $t_{\mathsf{mix}}$，而非使用 $t_{\mathsf{rel}}$ 作为代理，避免了此类近似可能带来的松散性。
• 理论界为非渐近形式，适用于任意遍历马尔可夫链，且不依赖于可逆性。
• 该方法完全自适应于观测轨迹，无需对转移核的先验知识。
• $\kappa_{\mathsf{gen}}$ 的置信区间通过集中不等式构建，确保了有限样本下的有效性与实际可用性。