[论文解读] Approximating the Stationary Probability of a Single State in a Markov chain

Christina Lee, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Dec 6, 2013

Markov Chains and Monte Carlo Methods参考文献 30被引用 3

一句话总结

本文提出了一种新颖的迭代蒙特卡洛算法，通过模拟返回该状态的时间，估计正遍历马尔可夫链中单个状态的平稳概率。该算法以高概率实现 $\epsilon$-乘法近似，所需步数为 $\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/(π_i\epsilon^2))$，通过递减的上界估计和确保有界误差的终止准则，将方法扩展至可数无限状态链，利用莱普诺夫函数实现。

ABSTRACT

In this paper, we present a novel iterative Monte Carlo method for approximating the stationary probability of a single state of a positive recurrent Markov chain. We utilize the characterization that the stationary probability of a state $i$ is inversely proportional to the expected return time of a random walk beginning at $i$. Our method obtains an $ε$-multiplicative close estimate with probability greater than $1 - α$ using at most $ ilde{O}\left(t_{ ext{mix}} \ln(1/α) / π_i ε^2 ight)$ simulated random walk steps on the Markov chain across all iterations, where $t_{ ext{mix}}$ is the standard mixing time and $π_i$ is the stationary probability. In addition, the estimate at each iteration is guaranteed to be an upper bound with high probability, and is decreasing in expectation with the iteration count, allowing us to monitor the progress of the algorithm and design effective termination criteria. We propose a termination criteria which guarantees a $ε(1 + 4 \ln(2) t_{ ext{mix}})$ multiplicative error performance for states with stationary probability larger than $Δ$, while providing an additive error for states with stationary probability less than $Δ\in (0,1)$. The algorithm along with this termination criteria uses at most $ ilde{O}\left(\frac{\ln(1/α)}{ε^2} \min\left(\frac{t_{ ext{mix}}}{π_i}, \frac{1}{εΔ} ight) ight)$ simulated random walk steps, which is bounded by a constant with respect to the Markov Chain. We provide a tight analysis of our algorithm based on a locally weighted variant of the mixing time. Our results naturally extend for countably infinite state space Markov chains via Lyapunov function analysis.

研究动机与目标

• 开发一种高效算法，用于估计大规模或无限马尔可夫链中单个状态的平稳概率，而无需计算完整的平稳分布。
• 通过利用返回时间采样，将计算聚焦于目标状态附近，从而降低稀疏高维系统中的计算成本。
• 提供一种终止准则，确保根据目标状态平稳概率的大小，实现乘法或加法误差界。
• 通过莱普诺夫函数分析，将该方法扩展至可数无限状态空间。

提出的方法

• 该方法利用反向关系 $\pi_i = 1/\mathbb{E}_i[T_i]$，其中 $T_i$ 为返回状态 $i$ 的时间，通过模拟返回路径来估计 $\pi_i$。
• 它迭代增加截断阈值 $\theta^{(k)}$ 和样本数量，以细化估计，确保收敛。
• 在每次迭代中，算法计算 $\pi_i$ 的上界估计，其期望值递减，从而实现对进展的有效监控。
• 引入一种局部加权混合时间，以更紧密地分析收敛速率，替代复杂度界中的标准混合时间。
• 算法使用切尔诺夫不等式，确保样本均值在期望值附近的高概率集中。
• 对于无限状态空间，构造一个莱普诺夫函数 $V(j) = \mathbb{E}_j[T_i]$，以建立正遍历性并支持分析。

实验结果

研究问题

• RQ1 我们能否比计算完整平稳分布更高效地估计马尔可夫链中单个状态的平稳概率？
• RQ2 如何设计一种局部的、迭代的蒙特卡洛方法，使其以高概率收敛到正确的平稳概率，并保证有界误差？
• RQ3 何种终止准则能根据 $\pi_i$ 的大小，分别确保乘法或加法误差保证？
• RQ4 如何在保持理论保证的前提下，将该方法扩展至可数无限状态空间？
• RQ5 在 $\epsilon$、$\alpha$、$t_{\text{mix}}$ 和 $\pi_i$ 的参数下，计算成本与精度之间的最优权衡是什么？

主要发现

• 该算法以大于 $1-\alpha$ 的概率实现 $\pi_i$ 的 $\epsilon$-乘法近似，所需模拟步数为 $\tilde{O}(t_{\text{mix}}\ln(1/\alpha)/(π_i\epsilon^2))$。
• 每次迭代的估计值以高概率为上界，且其期望值递减，从而实现有效的监控与终止。
• 终止准则保证：对于 $\pi_i > \Delta$ 的状态，乘法误差为 $\epsilon(1+4\ln(2)t_{\text{mix}})$；对于 $\pi_i < \Delta$ 的状态，为加法误差，总成本有界于 $\tilde{O}(\ln(1/\alpha)/\epsilon^2 \cdot \min(t_{\text{mix}}/\pi_i, 1/(\epsilon\Delta)))$。
• 通过莱普诺夫函数分析，该方法被扩展至可数无限状态空间，确保在正遍历性条件下有效。
• 分析中引入了局部加权混合时间，其在复杂度分析中提供了比标准混合时间更紧的界。
• 该算法的复杂度与整体状态空间大小无关，因此适用于大规模和稀疏的马尔可夫链。