[论文解读] Localized Algorithm of Community Detection on Large-Scale Decentralized Social Networks

Pili Hu, Wing Cheong Lau|arXiv (Cornell University)|Dec 27, 2012

Complex Network Analysis Techniques参考文献 21被引用 4

一句话总结

该论文提出了一种针对大规模去中心化社交网络（DSNs）的局部化、完全去中心化的社区检测算法，基于有限的2跳拓扑结构使用个性化Page Rank（PPR）。通过将PPR建模为‘墨水扩散’过程，当在逃逸向量中使用少量手动标记的好友时，该方法实现了卓越的性能——AUC相对提升达64.97%，优于基础Page Rank和常见启发式方法。

ABSTRACT

Despite the overwhelming success of the existing Social Networking Services (SNS), their centralized ownership and control have led to serious concerns in user privacy, censorship vulnerability and operational robustness of these services. To overcome these limitations, Distributed Social Networks (DSN) have recently been proposed and implemented. Under these new DSN architectures, no single party possesses the full knowledge of the entire social network. While this approach solves the above problems, the lack of global knowledge for the DSN nodes makes it much more challenging to support some common but critical SNS services like friends discovery and community detection. In this paper, we tackle the problem of community detection for a given user under the constraint of limited local topology information as imposed by common DSN architectures. By considering the Personalized Page Rank (PPR) approach as an ink spilling process, we justify its applicability for decentralized community detection using limited local topology information.Our proposed PPR-based solution has a wide range of applications such as friends recommendation, targeted advertisement, automated social relationship labeling and sybil defense. Using data collected from a large-scale SNS in practice, we demonstrate our adapted version of PPR can significantly outperform the basic PR as well as two other commonly used heuristics. The inclusion of a few manually labeled friends in the Escape Vector (EV) can boost the performance considerably (64.97% relative improvement in terms of Area Under the ROC Curve (AUC)).

研究动机与目标

• 解决去中心化社交网络（DSNs）中缺乏任何单一节点掌握全局网络知识的社区检测挑战。
• 设计一种完全去中心化的算法，仅依赖本地2跳拓扑信息，以保护隐私并确保可扩展性。
• 开发一种可扩展的、局部化的解决方案，用于社区检测，以支持去中心化社交网络中的关键服务，如好友推荐和Sybil防御。
• 使用来自拥有1.6亿用户的大型SNS平台人人网的真实数据进行评估，以在真实条件下验证性能。

提出的方法

• 将社区检测建模为针对目标用户自网络（本地2跳拓扑）的二分类问题。
• 将个性化Page Rank（PPR）作为接近度度量，将其解释为‘墨水扩散’过程，以按社区亲和力对节点进行排序。
• 使用手动标记的正样本节点（好友）作为逃逸向量（EV），以引导PPR并提高排序准确性。
• 采用两阶段框架：首先计算PPR得分；其次，将得分用作排序函数以识别社区成员。
• 利用节点度数和先验标签分布来优化逃逸向量，以提升检测阈值。
• 通过仅依赖本地拓扑和最少的用户提供的标签来确保隐私，避免全局协调或数据共享。

实验结果

研究问题

• RQ1 当仅能获取本地拓扑时，PPR是否能有效对2跳自网络中的节点进行排序，以识别社区成员？
• RQ2 在逃逸向量中包含少量手动标记的好友，对基于PPR的社区检测性能有何影响？
• RQ3 在去中心化社区检测中，PPR在多大程度上优于基础Page Rank和常见启发式方法（如基于度数的、随机选择的）？
• RQ4 在受限的本地可见性和隐私约束下，PPR方法是否对大规模DSN具有可扩展性和有效性？
• RQ5 通过使用多个种子集合，PPR框架能否扩展以支持重叠社区？

主要发现

• 基于PPR的方法在真实SNS数据上的社区检测准确率显著优于基础Page Rank和两种常见启发式方法。
• 仅将少量手动标记的好友纳入逃逸向量，即可在受试者工作特征曲线下面积（AUC）上实现64.97%的相对提升。
• 即使仅依赖2跳拓扑，该方法仍能成功识别社区成员，表明局部信息足以实现有效检测。
• PPR方法具有灵活性，可通过使用多个种子集合扩展至重叠社区检测。
• 该方法在大规模DSN中具有可扩展性和实用性，这通过在人人网（2011年用户达1.6亿）的真实数据上的评估得到验证。
• 标记种子带来的性能提升表明，极少的用户输入即可显著提升检测质量，而无需全局协调。