[论文解读] Estimating the inverse trace using random forests on graphs

Simon Barthelmé, Nicolas Tremblay+3 more|arXiv (Cornell University)|May 6, 2019

Markov Chains and Monte Carlo Methods参考文献 9被引用 5

一句话总结

该论文提出了一种新颖的无偏估计器，用于对对角占优矩阵的正则化逆迹进行估计，方法基于图上的随机森林，并利用Wilson算法采样均匀生成的生成树。该方法速度快、内存效率高，在大规模图且 $ s(q) $ 为低至中等水平时，显著优于传统的蒙特卡洛方法（如共轭梯度法和代数多重网格法），即使在百万节点图上也能实现亚秒级运行时间。

ABSTRACT

Some data analysis problems require the computation of (regularised) inverse traces, i.e. quantities of the form $\Tr (q \bI + \bL)^{-1}$. For large matrices, direct methods are unfeasible and one must resort to approximations, for example using a conjugate gradient solver combined with Girard's trace estimator (also known as Hutchinson's trace estimator). Here we describe an unbiased estimator of the regularized inverse trace, based on Wilson's algorithm, an algorithm that was initially designed to draw uniform spanning trees in graphs. Our method is fast, easy to implement, and scales to very large matrices. Its main drawback is that it is limited to diagonally dominant matrices $\bL$.

研究动机与目标

• 开发一种可扩展且高效的正则化逆迹估计器 $ s(q) = q \operatorname{Tr}((\mathbf{L} + q\mathbf{I})^{-1}) $，该量在正则化参数选择中具有关键作用。
• 通过用基于图的采样替代昂贵的求解器，解决大规模矩阵直接计算特征值的计算不可行性。
• 利用对角占优矩阵和图拉普拉斯矩阵的结构，设计一种无偏且高度可并行化的算法。
• 为现有蒙特卡洛估计器提供一种实用的替代方案，以降低方差和运行时间，尤其在大规模场景下表现更优。

提出的方法

• 该方法使用Wilson算法在图上生成均匀生成的生成树，进而用于构建逆迹的无偏估计器。
• 每个随机森林实现对应于对迹的一次采样，森林中根节点的期望数量等于 $ s(q) $。
• 估计器通过计算多个独立森林实现中根节点数量的平均值来得到 $ \hat{s}(q) $，从而避免矩阵求逆。
• 该方法限定于对角占优矩阵 $ \mathbf{L} $，以确保随机森林构造过程保持良好定义且高效。
• 该算法的计算复杂度与节点数呈线性关系，内存使用量与 $ \mathcal{O}(n) $ 成正比，适用于超大规模图。
• 该方法避免求解线性系统或计算特征值，转而依赖图遍历和树采样。

实验结果

研究问题

• RQ1 图上的随机森林能否为大规模对角占优矩阵的正则化逆迹提供一种无偏且高效的估计器？
• RQ2 与共轭梯度法和代数多重网格法等成熟的蒙特卡洛方法相比，该随机森林估计器在运行时间和方差方面的表现如何？
• RQ3 该方法在超大规模图（如百万节点图）上的可扩展性如何？
• RQ4 该方法能否扩展用于估计逆矩阵的对角元素，从而支持更精细的分析？

主要发现

• 所提出的随机森林方法在 $ n \approx 27,000 $ 的图上，其有效运行时间与直接求解器相当，尤其当 $ s(q) $ 为中等至高水平时表现更优。
• 在大小为 $ n = 1,000,000 $ 的Barabasi-Albert图上，当 $ q = 6 \times 10^{-3} $ 时，该方法每轮实现的运行时间约为0.2秒，$ s(q) \approx 100 $。
• 在测试基准中，该方法优于共轭梯度法和AMG预处理的迭代求解器，尤其得益于零预处理开销和低内存占用。
• 该估计器是无偏的，且其方差结构能自然地随迹的大小缩放，因此适用于AIC和GCV-based正则化参数选择。
• 当 $ s(q) $ 较大时，该方法尤其高效，因为达到固定相对误差所需的森林实现次数会减少。