[论文解读] Efficient Simulation for Branching Linear Recursions

Ningyuan Chen, Mariana Olvera‐Cravioto|arXiv (Cornell University)|Mar 31, 2015

Stochastic processes and statistical mechanics参考文献 21被引用 10

一句话总结

该论文提出了一种迭代自助法（iterative bootstrap algorithm），用于高效模拟 PageRank 和快速排序分析中出现的分支线性递归的第 $ k $ 次迭代 $ R^{(k)} $ 的分布。该方法在 $ k $ 上具有线性时间复杂度，确保输出分布以 Kantorovich-Rubinstein 距离收敛到遍历解，并在计算速度上相比朴素蒙特卡洛方法实现了数量级的提升，能够准确估计矩和尾部行为。

ABSTRACT

We consider a linear recursion of the form $$R^{(k+1)}\stackrel{\mathcal D}{=}\sum_{i=1}^{N}C_iR^{(k)}_i+Q,$$ where $(Q,N,C_1,C_2,\dots)$ is a real-valued random vector with $N\in\mathbb{N}=\{0, 1, 2, \dots\}$, $\{R^{(k)}_i\}_{i\in\mathbb{N}}$ is a sequence of i.i.d. copies of $R^{(k)}$, independent of $(Q,N,C_1,C_2,\dots)$, and $\stackrel{\mathcal{D}}{=}$ denotes equality in distribution. For suitable vectors $(Q,N,C_1,C_2,\dots)$ and provided the initial distribution of $R^{(0)}$ is well-behaved, the process $R^{(k)}$ is known to converge to the endogenous solution of the corresponding stochastic fixed-point equation, which appears in the analysis of information ranking algorithms, e.g., PageRank, and in the complexity analysis of divide and conquer algorithms, e.g. Quicksort. Naive Monte Carlo simulation of $R^{(k)}$ based on the branching recursion has exponential complexity in $k$, and therefore the need for efficient methods. We propose in this paper an iterative bootstrap algorithm that has linear complexity and can be used to approximately sample $R^{(k)}$. We show the consistency of estimators based on our proposed algorithm.

研究动机与目标

• 解决在排名和分治算法中出现的随机不动点方程里，$ R^{(k)} $ 这一关键量的朴素蒙特卡洛模拟所面临的指数级计算成本问题。
• 开发一种数值高效的近似方法，用于估计 $ R^{(k)} $ 的分布，尤其适用于 $ k $ 较大时，此时真实分布难以计算。
• 确保所提算法输出分布以 Kantorovich-Rubinstein 距离收敛到 $ R^{(k)} $ 的真实分布，从而保证弱收敛性和矩的一致性。
• 实现对遍历解的非整数矩和尾部分布的准确估计，这些在传统方法下通常难以计算。

提出的方法

• 该算法使用迭代自助过程生成大小为 $ m $ 的样本池 $ \{\hat{R}^{(k,m)}_i\}_{i=1}^m $，以近似 $ R^{(k)} $ 的分布。
• 在每次迭代 $ k $ 时，通过递归应用 $ R^{(k+1)} \stackrel{\mathcal{D}}{=} \sum_{i=1}^N C_i R^{(k)}_i + Q $ 来模拟 $ R^{(k)} $，并利用前序步骤的经验分布。
• 该方法利用了 $ R^{(k)} $ 几何收敛到遍历解 $ R $ 的事实，因此对足够大的 $ k $ 模拟 $ R^{(k)} $ 即可满足需求。
• 收敛性在 Kantorovich-Rubinstein 距离下得到证明，该距离蕴含弱收敛性以及一阶绝对矩的收敛性。
• 该方法在 $ k $ 上实现线性计算复杂度，与朴素蒙特卡洛方法的指数级复杂度 $ (\mathbb{E}[N])^k $ 相比具有显著优势。
• 通过耦合论证和矩界分析建立了理论保证，证明 $ \mathbb{E}[|R^{(k)} - R|^{\beta}] \leq K c^{k+1} $，其中 $ c < 1 $。

实验结果

研究问题

• RQ1 我们能否以在 $ k $ 上亚指数复杂度的方式模拟分支线性递归的第 $ k $ 次迭代 $ R^{(k)} $ 的分布？
• RQ2 如何高效近似随机不动点方程 $ R \stackrel{\mathcal{D}}{=} \sum_{i=1}^N C_i R_i + Q $ 的遍历解？
• RQ3 所提模拟方法的经验分布向 $ R^{(k)} $ 真实分布的收敛速率是多少？
• RQ4 该算法能否一致地估计 $ R^{(k)} $ 的非整数矩和尾部分布，尤其是在无闭式表达式时？

主要发现

• 所提自助算法在 $ k $ 上实现线性复杂度，使得即使在 $ k $ 较大时也能高效模拟，而朴素蒙特卡洛方法的复杂度随 $ k $ 指数增长。
• 当 $ k = 10 $ 时，该算法在 2.1 秒内计算出 $ \hat{F}_{10,1000} $，而朴素采样方法计算经验累积分布函数则耗时 883.3 秒。
• 该算法输出分布以 Kantorovich-Rubinstein 距离收敛到 $ R^{(k)} $ 的真实分布，确保了弱收敛性和矩的一致性。
• 数值结果表明，$ \hat{F}_{10,10000} $ 的尾部分布与理论渐近尾部 $ G_{10}(x) \approx 0.365 \cdot P(N > x) $ 非常吻合，验证了在重尾分布情形下的准确性。
• 该方法确保 $ \mathbb{E}[|R^{(k)} - R|^{\beta}] \leq K c^{k+1} $，其中 $ c < 1 $，证实了 $ R^{(k)} $ 到遍历解 $ R $ 的几何收敛性。