[论文解读] A note on quickly sampling a sparse matrix with low rank expectation

Karl Rohe, Jun Tao+2 more|arXiv (Cornell University)|Mar 8, 2017

Complex Network Analysis Techniques参考文献 10被引用 3

一句话总结

该论文提出 fastRG，一种高效算法，用于采样具有低秩期望 $E(A) = XSY^T$ 的稀疏随机图，其中 $X$、$S$ 和 $Y$ 均为非负矩阵。通过首先从泊松分布中采样总边数 $m$，然后基于归一化矩阵 $ ilde{X}$、$ ilde{S}$ 和 $ ilde{Y}$ 衍生的加权概率采样每条边，fastRG 实现了稀疏图 ($m = O(n)$) 的 $O(n)$ 时间复杂度，显著优于朴素的 $O(n^2)$ 元素级方法。

ABSTRACT

Given matrices $X,Y \in R^{n imes K}$ and $S \in R^{K imes K}$ with positive elements, this paper proposes an algorithm fastRG to sample a sparse matrix $A$ with low rank expectation $E(A) = XSY^T$ and independent Poisson elements. This allows for quickly sampling from a broad class of stochastic blockmodel graphs (degree-corrected, mixed membership, overlapping) all of which are specific parameterizations of the generalized random product graph model defined in Section 2.2. The basic idea of fastRG is to first sample the number of edges $m$ and then sample each edge. The key insight is that because of the the low rank expectation, it is easy to sample individual edges. The naive "element-wise" algorithm requires $O(n^2)$ operations to generate the $n imes n$ adjacency matrix $A$. In sparse graphs, where $m = O(n)$, ignoring log terms, fastRG runs in time $O(n)$. An implementation in fastRG is available on github. A computational experiment in Section 2.4 simulates graphs up to $n=10,000,000$ nodes with $m = 100,000,000$ edges. For example, on a graph with $n=500,000$ and $m = 5,000,000$, fastRG runs in less than one second on a 3.5 GHz Intel i5.

研究动机与目标

• 为解决在模拟具有低秩期望的随机图时存在的计算瓶颈，特别是针对大规模网络分析。
• 开发一种高效的采样算法，避免在稀疏图中元素级生成带来的 $O(n^2)$ 成本。
• 在统一的广义随机乘积图模型下，实现对多样化随机块模型类别（如度校正、混合成员、重叠 SBM）的快速模拟。
• 在 $m = O(n)$ 边的稀疏图中实现接近线性的时间采样性能。

提出的方法

• FastRG 从泊松分布中采样总边数 $m$，其速率为 $\sum_{u,v} \tilde{S}_{uv}$，其中 $\tilde{S} = C_X S C_Y$。
• 将潜在特征矩阵 $X$ 和 $Y$ 归一化为 $\tilde{X} = X C_X^{-1}$ 和 $\tilde{Y} = Y C_Y^{-1}$，以定义边采样概率。
• 按顺序采样每条边：首先根据 $\tilde{S}_{uv}$ 的比例选择潜在块 $U \in \{1,\dots,K_x\}$ 和 $V \in \{1,\dots,K_y\}$。
• 然后分别根据概率 $\tilde{X}_{iU}$ 和 $\tilde{Y}_{jV}$ 选择节点 $I$ 和 $J$，支持多重边。
• 该算法支持有向图、多重边图和自环图，可通过后处理转换为简单图。
• 理论依据在于：在总边数固定的条件下，独立的泊松随机变量向量在条件期望下服从多项分布。

实验结果

研究问题

• RQ1 我们能否以 $O(n)$ 时间复杂度而非 $O(n^2)$ 采样具有低秩期望的稀疏随机图？
• RQ2 如何高效地从广义随机乘积图模型中生成图，包括度校正和重叠的随机块模型？
• RQ3 在大规模网络中，fastRG 相较于朴素的元素级采样方法在计算性能上有多大的提升？
• RQ4 fastRG 能否通过受控误差的泊松边采样近似伯努利边图？

主要发现

• 对于边数 $m = O(n)$ 的稀疏图，fastRG 的运行时间为 $O(n)$，实现接近线性性能。
• 在一个拥有 $n = 500,000$ 个节点和 $m = 5,000,000$ 条边的图上，fastRG 在 3.5 GHz 的 Intel i5 处理器上耗时不足一秒。
• 该算法正确地从广义随机乘积图模型中采样，满足 $E(A) = XSY^T$，并确保边采样概率与在总边数条件下的多项分布一致。
• 理论分析证实，fastRG 生成的图具有正确的分布，通过证明对任意邻接矩阵 $a$，有 $\mathbb{P}(A = a) = \mathbb{P}(\tilde{A} = a)$。
• 该方法可通过泊松边采样实现对伯努利边图的准确近似，其期望 $L^2$ 误差为 $O(\alpha_n^2)$，其中 $\alpha_n$ 为平均度数。
• R 语言实现已公开发布于 GitHub，支持可复现性，并可集成至网络模拟工作流中。