[论文解读] Motivo: fast motif counting via succinct color coding and adaptive sampling

Marco Bressan, Stefano Leucci+1 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Theory Research参考文献 28被引用 6

一句话总结

Motivo 提出了一种新颖的算法，通过简洁的颜色编码与自适应采样技术，实现大规模图中快速且精确的基序计数。通过优化数据结构并采用基于分数集合覆盖的采样策略，该方法可同时对所有图基序实现乘法近似，从而仅使用一台高端桌面计算机即可可扩展地计数十亿条边图中的稀有且复杂基序。

ABSTRACT

The randomized technique of color coding is behind state-of-the-art algorithms for estimating graph motif counts. Those algorithms, however, are not yet capable of scaling well to very large graphs with billions of edges. In this paper we develop novel tools for the `motif counting via color coding' framework. As a result, our new algorithm, Motivo, is able to scale well to larger graphs while at the same time provide more accurate graphlet counts than ever before. This is achieved thanks to two types of improvements. First, we design new succinct data structures that support fast common color coding operations, and a biased coloring trick that trades accuracy versus running time and memory usage. These adaptations drastically reduce the time and memory requirements of color coding. Second, we develop an adaptive graphlet sampling strategy, based on a fractional set cover problem, that breaks the additive approximation barrier of standard sampling. This strategy gives multiplicative approximations for all graphlets at once, allowing us to count not only the most frequent graphlets but also extremely rare ones. To give an idea of the improvements, in $40$ minutes Motivo counts $7$-nodes motifs on a graph with $65$M nodes and $1.8$B edges; this is $30$ and $500$ times larger than the state of the art, respectively in terms of nodes and edges. On the accuracy side, in one hour Motivo produces accurate counts of $\approx \! 10.000$ distinct $8$-node motifs on graphs where state-of-the-art algorithms fail even to find the second most frequent motif. Our method requires just a high-end desktop machine. These results show how color coding can bring motif mining to the realm of truly massive graphs using only ordinary hardware.

研究动机与目标

• 解决现有基序计数算法在拥有数十亿条边的大规模图上所面临的可扩展性限制。
• 提升对稀有图基序的估计精度，这些图基序是标准采样方法无法捕捉的。
• 通过优化数据结构，减少基于颜色编码的基序计数中的时间和内存开销。
• 设计一种采样策略，突破加法近似瓶颈，实现对所有图基序同时具备乘法误差保证。
• 使在普通硬件上进行大规模基序分析成为可能，而无需专用基础设施。

提出的方法

• 设计简洁的数据结构，以加速常见颜色编码操作并减少内存使用。
• 引入一种有偏色编码技术，实现精度、运行时间与内存消耗之间的权衡。
• 将采样分配问题建模为分数集合覆盖问题，以在确保所有图基序被覆盖的前提下最小化总采样数。
• 实现一种自适应图基序采样策略（AGS），动态优先选择能覆盖最多未覆盖图基序的树基序。
• 使用贪心算法求解集合覆盖公式，该方法保证 O(log s) 的近似因子，其中 s 为不同图基序的数量。
• 通过采样树基序覆盖特定图基序的概率，估计图基序出现的期望次数，使用表示覆盖概率的矩阵 A。

实验结果

研究问题

• RQ1 颜色编码能否被优化，以在保持高精度的同时扩展至拥有数十亿条边的图？
• RQ2 能否设计一种采样策略，实现对所有图基序的乘法近似，而非仅提供频率估计？
• RQ3 如何优化数据结构与着色启发式方法，以减少基序计数中的时间和内存开销？
• RQ4 基于集合覆盖原理的自适应采样在多大程度上能提升基序计数的效率与精度？
• RQ5 是否可能在无需专用硬件的情况下，仅使用一台高端桌面计算机完成大规模基序计数？

主要发现

• 在包含 6500 万个节点和 18 亿条边的图上，Motivo 仅用 40 分钟即可完成 7 个节点基序的计数——节点数量是之前最先进方法的 30 倍，边数量是其 500 倍。
• 在一小时内，Motivo 可对图中约 10,000 种不同的 8 个节点基序生成准确计数，而此前的算法甚至无法识别出第二频繁的基序。
• 该算法可同时对所有图基序提供乘法近似保证，从而可靠估计频繁基序与极端稀有基序。
• 通过使用简洁的数据结构与有偏着色，Motivo 显著减少了时间和内存使用，使其能够突破现有基于颜色编码方法的极限。
• 基于分数集合覆盖的自适应采样策略优于标准的加法采样方法，确保了所有图基序的均衡覆盖。
• Motivo 在单台高端桌面计算机上高效运行，证明了无需集群或高性能计算基础设施即可实现大规模基序挖掘。