[论文解读] A New Approach to Laplacian Solvers and Flow Problems

Patrick Rebeschini, Sekhar Tatikonda|arXiv (Cornell University)|Nov 22, 2016

Complexity and Algorithms in Graphs被引用 6

一句话总结

本文提出了一套新框架，用于分析最小和（Min-Sum）消息传递算法在加权图上的拉普拉斯系统与电流流问题求解中的应用。通过将误差与非回溯随机游走的 hitting 时间关联，建立了收敛性保证，证明对于 d-正则图，收敛性由相邻节点出发的非回溯随机游走分布之间的总变差距离控制。

ABSTRACT

This paper investigates the behavior of the Min-Sum message passing scheme to solve systems of linear equations in the Laplacian matrices of graphs and to compute electric flows. Voltage and flow problems involve the minimization of quadratic functions and are fundamental primitives that arise in several domains. Algorithms that have been proposed are typically centralized and involve multiple graph-theoretic constructions or sampling mechanisms that make them difficult to implement and analyze. On the other hand, message passing routines are distributed, simple, and easy to implement. In this paper we establish a framework to analyze Min-Sum to solve voltage and flow problems. We characterize the error committed by the algorithm on general weighted graphs in terms of hitting times of random walks defined on the computation trees that support the operations of the algorithms with time. For $d$-regular graphs with equal weights, we show that the convergence of the algorithms is controlled by the total variation distance between the distributions of non-backtracking random walks defined on the original graph that start from neighboring nodes. The framework that we introduce extends the analysis of Min-Sum to settings where the contraction arguments previously considered in the literature (based on the assumption of walk summability or scaled diagonal dominance) can not be used, possibly in the presence of constraints.

研究动机与目标

• 开发一个通用框架，用于分析 Min-Sum 消息传递算法在拉普拉斯系统与流问题中的应用。
• 克服以往基于收缩性分析的局限性，这些分析要求满足游走可求和性或对角占优性。
• 通过计算树上随机游走的 hitting 时间，刻画一般加权图上 Min-Sum 的误差。
• 通过将收敛性与相邻节点出发的非回溯随机游走分布之间的总变差距离关联，建立 d-正则图上的收敛性。
• 将 Min-Sum 分析扩展至传统收缩性论证失效的约束性场景。

提出的方法

• 使用计算树建模 Min-Sum 中的消息传播，定义其上的随机游走以分析误差动态。
• 在计算树上定义非回溯随机游走的 hitting 时间，以界定向电压和电流估计的误差。
• 应用递推关系计算非回溯游走的概率分布，利用邻接矩阵和基于节点度数的初始条件。
• 推导出 $ P^{(t)}_v $ 和 $ P^{(t,w)}_v $ 的递推公式，分别表示从节点 $ v $ 出发、首步不等于 $ w $ 的长度为 $ t $ 的非回溯游走分布。
• 通过归纳法及 $ ilde{ heta}_s $, $ heta_s $, 和 $ ilde{ ho}_s $ 的性质，建立误差项的界，将其与游走行为和图的正则性关联。
• 将相邻节点出发的非回溯游走分布之间的总变差距离作为 d-正则图收敛性的关键度量。

实验结果

研究问题

• RQ1 能否在不依赖游走可求和性或对角占优性的前提下，对拉普拉斯系统上的 Min-Sum 消息传递进行严格分析？
• RQ2 Min-Sum 在电压与电流问题中的误差如何随图结构和消息传递深度变化？
• RQ3 计算树上非回溯随机游走的 hitting 时间在决定 Min-Sum 收敛性方面起什么作用？
• RQ4 对于 d-正则图，Min-Sum 收敛性与相邻节点出发的非回溯游走分布之间的总变差距离有何关联？
• RQ5 在标准收缩性论证失效的约束条件下，能否证明 Min-Sum 算法的收敛性？

主要发现

• Min-Sum 求解拉普拉斯系统时的误差由计算树上非回溯随机游走的 hitting 时间决定。
• 对于权重相等的 d-正则图，Min-Sum 的收敛性由相邻节点出发的非回溯游走分布之间的总变差距离控制。
• 该框架将收敛性分析扩展至游走可求和性或缩放对角占优性之外的范围，使在约束性场景下的分析成为可能。
• 推导出 $ P^{(t)}_v $ 和 $ P^{(t,w)}_v $ 的递推公式，实现了在 d-正则图上对非回溯游走分布的精确计算。
• 证明了不等式 $ b_{d,t} \geq \frac{d-2}{d-1} $，表明即使在 $ t $ 较大时，算法仍能保持非退化的分布。
• 分析证明了 $ c_{d,t} \leq \bar{\alpha} $，且当 $ d \to \infty $ 时 $ \bar{\alpha} \to 1 $，表明在高阶图中误差增长趋于减弱。