[论文解读] Efficient Bitruss Decomposition for Large-scale Bipartite Graphs

Kai Wang, Xuemin Lin+3 more|arXiv (Cornell University)|Jan 16, 2020

Data Mining Algorithms and Applications参考文献 25被引用 4

一句话总结

本文提出高效的算法 BiT-BU 和 BiT-PC，通过引入一种新型在线索引 BE-Index，实现大规模二分图中蝴蝶结构的分解。该索引将蝴蝶结构压缩为 k-blooms。该方法降低了时间复杂度，并在真实数据集上将分解速度提升高达两个数量级，显著优于先前方法。

ABSTRACT

Cohesive subgraph mining in bipartite graphs becomes a popular research topic recently. An important structure k-bitruss is the maximal cohesive subgraph where each edge is contained in at least k butterflies (i.e., (2, 2)-bicliques). In this paper, we study the bitruss decomposition problem which aims to find all the k-bitrusses for k >= 0. The existing bottom-up techniques need to iteratively peel the edges with the lowest butterfly support. In this peeling process, these techniques are time-consuming to enumerate all the supporting butterflies for each edge. To relax this issue, we first propose a novel online index -- the BE-Index which compresses butterflies into k-blooms (i.e., (2, k)-bicliques). Based on the BE-Index, the new bitruss decomposition algorithm BiT-BU is proposed, along with two batch-based optimizations, to accomplish the butterfly enumeration of the peeling process in an efficient way. Furthermore, the BiT-PC algorithm is devised which is more efficient against handling the edges with high butterfly supports. We theoretically show that our new algorithms significantly reduce the time complexities of the existing algorithms. Also, we conduct extensive experiments on real datasets and the result demonstrates that our new techniques can speed up the state-of-the-art techniques by up to two orders of magnitude.

研究动机与目标

• 解决现有自底向上 bitruss 分解算法在边剥离过程中因昂贵的蝴蝶结构枚举而产生的性能瓶颈。
• 通过降低计算开销，实现对大规模二分图（常见于社交网络、推荐系统和学术网络）的可扩展分析。
• 设计一种新型在线索引结构 BE-Index，以压缩并高效管理动态边处理过程中的蝴蝶结构支持度。
• 设计优化算法 BiT-BU 和 BiT-PC，最小化冗余的蝴蝶结构支持更新，提升在高程度（枢纽）边上的性能表现。
• 在保持正确性和可扩展性的前提下，显著提升与现有最先进技术相比的运行速度。

提出的方法

• 提出 BE-Index，一种在线索引结构，将二分图中的所有蝴蝶结构压缩为 k-blooms（即 (2,k)-双团），实现对蝴蝶结构支持度的高效追踪。
• 设计 BiT-BU 算法，一种自底向上的分解方法，利用 BE-Index 避免在边剥离过程中重复枚举蝴蝶结构。
• 集成两种基于批量的优化：批量边处理和批量花苞处理，以减少更新次数并提升缓存效率。
• 提出 BiT-PC，一种基于渐进式压缩的算法，优先处理高支持度边，通过迭代压缩图结构，减少后续的蝴蝶结构支持更新。
• 在 BiT-PC 中引入参数 τ 以控制图压缩速率，平衡迭代次数与更新开销，实现最优性能。
• 理论分析表明，BiT-BU 和 BiT-PC 通过减少冗余的蝴蝶结构计数与更新操作，实现了比先前方法更低的时间复杂度。

实验结果

研究问题

• RQ1 如何通过最小化边剥离过程中重复的蝴蝶结构枚举，降低大规模二分图中 bitruss 分解的时间复杂度？
• RQ2 能否设计一种在线索引结构，高效捕获并压缩蝴蝶结构支持度，以加速分解过程？
• RQ3 可对自底向上分解流水线应用哪些优化，以减少更新开销并提升大规模图上的性能？
• RQ4 与标准剥离方法相比，BiT-PC 中渐进式图压缩如何提升高蝴蝶结构支持度边的性能表现？
• RQ5 在多样化的真实世界数据集上，BiT-PC 中压缩参数 τ 的最优配置是什么，以在迭代次数与更新成本之间实现最佳平衡？

主要发现

• 所提出的 BiT-BU 和 BiT-PC 算法在真实世界数据集（如 Wiki-it 和 D-style）上，相较于最先进算法，速度提升最高达两个数量级。
• 在包含超过 6 亿个蝴蝶结构的 Wiki-it 数据集中，BE-Index 数据结构的主内存占用不足 4GB，展现出优异的空间效率。
• BiT-BU++ 中的基于批量的优化显著降低了计算成本与支持度更新次数，其中批量花苞处理带来的性能提升最为显著。
• 在 D-style 和 Wiki-it 等大规模数据集上，BiT-PC 在处理枢纽边时表现优于 BiT-BU 和 BiT-BU++，通过在更紧密的子图中处理这些边，使后续更新减少超过 90%。
• 当 τ 参数设置在 0.05 到 0.2 之间时，其对性能的影响极小，表明该算法在不同图结构上具有强鲁棒性且易于调优。