[论文解读] LSCPM: Communities in Massive Real-World Link Streams by Clique Percolation Method

Alexis Baudin, Lionel Tabourier+1 more|arXiv (Cornell University)|Jan 1, 2023

Complex Network Analysis Techniques被引用 3

一句话总结

该论文提出LSCPM，一种新颖的算法，将团渗滤法（Clique Percolation Method, CPM）适配于链路流，以实现在大规模时序网络中的可扩展社区检测。通过在链路流中高效枚举k-团，LSCPM在3000万条链路的数据集上处理时间低于25分钟，优于现有最先进方法DCPM（后者在一周内无法完成计算），同时生成结构一致、略为聚合的社区，具有较强的现实世界可解释性。

ABSTRACT

Community detection is a popular approach to understand the organization of interactions in static networks. For that purpose, the Clique Percolation Method (CPM), which involves the percolation of k-cliques, is a well-studied technique that offers several advantages. Besides, studying interactions that occur over time is useful in various contexts, which can be modeled by the link stream formalism. The Dynamic Clique Percolation Method (DCPM) has been proposed for extending CPM to temporal networks. However, existing implementations are unable to handle massive datasets. We present a novel algorithm that adapts CPM to link streams, which has the advantage that it allows us to speed up the computation time with respect to the existing DCPM method. We evaluate it experimentally on real datasets and show that it scales to massive link streams. For example, it allows to obtain a complete set of communities in under twenty-five minutes for a dataset with thirty million links, what the state of the art fails to achieve even after a week of computation. We further show that our method provides communities similar to DCPM, but slightly more aggregated. We exhibit the relevance of the obtained communities in real world cases, and show that they provide information on the importance of vertices in the link streams.

研究动机与目标

• 解决现有动态团渗滤法（DCPM）在大规模真实世界链路流上的可扩展性限制。
• 将团渗滤法（CPM）适配于链路流形式化，实现在时序网络中的高效且确定性的社区检测。
• 提供一种可扩展的开源实现，能够以高时间保真度处理大规模真实世界交互数据。
• 证明LSCPM不仅计算高效，而且生成的社区在语义上具有意义，并在时间上保持稳定。

提出的方法

• 提出链路流中最大k-团的概念，将静态图的团概念扩展至时间分辨的交互数据。
• 设计一种专用于链路流的新型k-团枚举算法，实现对时间上一致的顶点集合的高效检测。
• 通过在时间上跨重叠k-团进行渗滤，将团渗滤法（CPM）应用于链路流，形成动态社区。
• 采用确定性、非启发式的方法进行社区构建，支持重叠社区，避免划分约束。
• 实现一种内存优化的流水线，通过高效数据结构和增量处理，实现对大规模数据集的可扩展处理。
• 引入k值与链路持续时间∆的参数调优策略，以控制社区粒度和时间一致性。

实验结果

研究问题

• RQ1 团渗滤法能否有效适配于链路流形式化，以实现在大规模数据集上的动态社区检测？
• RQ2 在真实世界链路流上，LSCPM与现有最先进DCPM方法相比，在性能和社区质量方面表现如何？
• RQ3 增大团大小k对检测到的社区结构和凝聚力有何影响？
• RQ4 LSCPM检测到的社区在多大程度上反映了现实世界中的交互模式以及时序网络中顶点的角色？
• RQ5 由于计算效率高，LSCPM能否支持时序网络的在线或流式分析？

主要发现

• LSCPM在不到25分钟内处理完一个包含3000万条链路的真实世界数据集，而现有最先进DCPM实现即使运行一周也无法完成计算。
• LSCPM检测到的社区比DCPM的社区略为聚合，表明其具有更高的时间一致性。
• 增大k值会导致更小、更凝聚的社区形成，这些社区从更大的社区中分裂出来，使用户能够以不同粒度探索交互核心。
• 当k=3时，Foursquare社区包含6种与运动相关的场所类型；当k增加到7时，可识别出聚焦于两轮运动的子社区，体现了语义上的细化。
• 当存在元数据时，该方法能成功识别出有意义的子社区，例如在基于位置的网络中用户之间的共同兴趣。
• 该算法的理论时间复杂度已推导，并已开源实现，支持可复现性，并可进一步扩展至时序基序挖掘。