[论文解读] fastball: A fast algorithm to sample bipartite graphs with fixed degree sequences

Karl Godard, Zachary P. Neal|arXiv (Cornell University)|Dec 7, 2021

Algorithms and Data Compression被引用 4

一句话总结

本文提出 fastball，一种新型算法，用于对具有固定度序列的二分图进行均匀随机采样，实现最优的 O(n) 时间复杂度——比先前最先进的 curveball 算法（O(n log n)）更快。该算法使用 C++ 实现，在实践中将采样时间减少了最多 2.5 倍，从而显著加快了大规模网络（如美国参议院共赞助网络）的骨干提取速度。

ABSTRACT

Many applications require randomly sampling bipartite graphs with fixed degrees, or randomly sampling incidence matrices with fixed row and column sums. Although several sampling algorithms exist, the ``curveball'' algorithm is the most efficient with an asymptotic time complexity of O(n log n), and has been proven to sample uniformly at random. In this paper, we introduce the ``fastball'' algorithm, which adopts a similar approach but has an asymptotic time complexity of O(n). We show that a C++ implementation of fastball randomly samples large bipartite graphs with fixed degrees faster than curveball, and illustrate the value of this faster algorithm in the context of the fixed degree sequence model for backbone extraction.

研究动机与目标

• 开发一种更高效的计算算法，用于对具有固定度序列的二分图进行均匀随机采样。
• 将现有基于交易的采样算法的渐近时间复杂度从 O(n log n) 降低至 O(n)。
• 提升大规模网络分析中的实际性能，特别是针对大规模二分投影中的骨干提取。
• 为需要从固定度序列模型中生成大量随机样本的应用提供比 curveball 更快的替代方案。
• 在网络科学、生态学和统计物理中实现更可扩展、更高效的零模型检验。

提出的方法

• fastball 使用基于交易的马尔可夫链蒙特卡洛方法，与 curveball 类似，但通过优化交易操作实现 O(n) 时间复杂度。
• 该算法均匀随机选择两个节点，计算它们的对称差和交集，然后通过洗牌后的对称差划分重新分配边。
• 通过维护邻接表并使用有序数据结构进行高效更新，以最小化交易操作期间的开销。
• 该方法通过与 curveball 相同的理论框架，确保了均匀采样，即保持细致平衡和遍历性。
• 使用 C++ 实现以与 curveball 进行性能基准测试，利用底层内存访问和优化的数据处理。
• 通过用户友好的包装函数将算法集成到 R 的 backbone 包中，使用户无需具备 C++ 知识即可在高层层面使用。

实验结果

研究问题

• RQ1 基于交易的算法能否在对具有固定度的二分图进行采样时实现 O(n) 时间复杂度，从而优于 curveball 的 O(n log n) 复杂度？
• RQ2 所提出的 fastball 算法是否在实际中通过减少计算开销保持了均匀采样？
• RQ3 在实际网络分析工作负载（如大规模二分投影中的骨干提取）中，fastball 比 curveball 快多少？
• RQ4 fastball 是否能在非常大的图（例如 m = 10^6 个节点）上实现显著低于 curveball 的运行时间？
• RQ5 更快的采样对大规模零模型检验在网络科学中的可行性有何实际影响？

主要发现

• fastball 算法实现了 O(n) 的渐近时间复杂度，优于 curveball 算法的 O(n log n) 复杂度。
• 在 C++ 实现中，当从美国参议院共赞助网络中提取骨干时，fastball 的运行速度约为 curveball 的 2.5 倍，将运行时间从 27 分钟减少至 11 分钟。
• 在具有 m = 10^6 个节点的大规模图中，benchmark 测试显示 fastball 的交易操作速度约为 curveball 的四倍。
• 该算法生成的 FDSM 骨干与 curveball 完全一致，证实了采样的均匀性以及实现的正确性。
• backbone 包中的 R 函数 `fastball()` 实现了与现有基于 R 的工作流无缝集成，且无需 C++ 知识。
• 数值实验表明，fastball 保持了与 curveball 相同的统计特性，包括均匀性以及在约 5n 次交易后达到充分混合。