[论文解读] Fast Bidirectional Probability Estimation in Markov Models

Siddhartha Banerjee, Peter Lofgren|arXiv (Cornell University)|Jul 21, 2015

Markov Chains and Monte Carlo Methods参考文献 20被引用 24

一句话总结

本文提出了一种新颖的双向算法，用于在稀疏马尔可夫链中快速、准确地估计多步转移概率。通过将目标状态的反向局部幂迭代与正向蒙特卡洛采样相结合，该方法在检测高于阈值 $\delta$ 的概率时，实现了 $O(1/\sqrt{\delta})$ 的运行时间，相较于标准蒙特卡洛方法和幂迭代，在社交图等稀疏网络中性能提升数个数量级。

ABSTRACT

We develop a new bidirectional algorithm for estimating Markov chain multi-step transition probabilities: given a Markov chain, we want to estimate the probability of hitting a given target state in $\ell$ steps after starting from a given source distribution. Given the target state $t$, we use a (reverse) local power iteration to construct an `expanded target distribution', which has the same mean as the quantity we want to estimate, but a smaller variance -- this can then be sampled efficiently by a Monte Carlo algorithm. Our method extends to any Markov chain on a discrete (finite or countable) state-space, and can be extended to compute functions of multi-step transition probabilities such as PageRank, graph diffusions, hitting/return times, etc. Our main result is that in `sparse' Markov Chains -- wherein the number of transitions between states is comparable to the number of states -- the running time of our algorithm for a uniform-random target node is order-wise smaller than Monte Carlo and power iteration based algorithms; in particular, our method can estimate a probability $p$ using only $O(1/\sqrt{p})$ running time.

研究动机与目标

• 解决现有方法——蒙特卡洛方法和幂迭代——在估计马尔可夫链中多步转移概率时计算效率低下的问题。
• 开发一种通用的双向算法，适用于任意离散状态马尔可夫链，包括非可逆和非对称链。
• 实现相较于现有技术的阶次级更快运行时间，特别是在转移次数与状态数相当的稀疏马尔可夫链中。
• 使大规模网络中页面排名、图扩散和热核计算等应用的转移概率估计更加高效。
• 提供一种能动态适应目标特定结构的方法，通过减少方差提升精度，同时减少采样次数。

提出的方法

• 算法从目标状态 $t$ 执行反向局部幂迭代（REVERSE-PUSH），以构建一个方差更低的扩展目标分布。
• 该扩展分布近似目标转移概率，但方差更小，从而支持高效的蒙特卡洛采样。
• 正向计算涉及从源分布 $\mathbf{\sigma}$ 采样 $\ell$ 步随机游走，利用反向构建的分布对结果进行加权并估计概率。
• 该方法结合了局部幂迭代与蒙特卡洛采样，并动态调整反向迭代次数，以确保残差较小且精度较高。
• 算法在算法2中形式化，并被证明可产生高概率下的无偏估计，满足相对误差界。
• 该方法可自然扩展至多步概率的函数，如页面排名和热核，通过复用相同的反向-正向框架。

实验结果

研究问题

• RQ1 能否设计一种双向算法，使其在一般离散状态马尔可夫链中估计多步转移概率的效率高于现有的蒙特卡洛方法或幂迭代？
• RQ2 所提方法是否能在检测高于阈值 $\delta$ 的概率时实现 $O(1/\sqrt{\delta})$ 的运行时间，特别是在稀疏马尔可夫链中？
• RQ3 该双向估计器在真实网络中的性能与最先进的算法（如蒙特卡洛和前向推送）相比如何？
• RQ4 在何种场景下——尤其是平均度和目标分布方面——该算法能实现阶次级的速度提升？
• RQ5 该方法能否有效应用于实际问题，如热核估计和大规模图中的个性化搜索？

主要发现

• 双向-MSTP估计器以高概率提供多步转移概率的无偏估计，满足 $|\widehat{\mathbf{p}}_{\mathbf{\sigma}}^{\ell}[t] - \mathbf{p}_{\mathbf{\sigma}}^{\ell}[t]| < \max\{\epsilon\mathbf{p}_{\mathbf{\sigma}}^{\ell}[t], \delta\}$。
• 在稀疏马尔可夫链中，对于均匀随机的目标，该算法的运行时间为 $\widetilde{O}(\ell^{3/2}\sqrt{\overline{d}/\delta})$，其中 $\overline{d}$ 为平均度。
• 该方法在检测高于阈值 $\delta$ 的概率时实现 $O(1/\sqrt{\delta})$ 的运行时间，相比标准蒙特卡洛和幂迭代的 $\Omega(1/\delta)$ 时间，具有阶次级的加速优势。
• 在真实世界图（如拥有15亿条边的Twitter图）上，该算法在估计热核时比最先进的方法快100倍，每对节点在0.1秒内实现10%的平均相对误差，而竞争对手则需超过4分钟。
• 该算法在幂律网络中尤为有效，即使某些节点度数很高，只要平均度较低，其运行时间依赖于平均度，因此在低平均度网络中表现更优。
• 该方法可高效计算少量目标节点的热核及其他图扩散函数，因此特别适用于个性化搜索和社区检测等任务。