[论文解读] Community Detection Algorithm Evaluation using Size and Hashtags

Paul Wagenseller, Feng Wang|arXiv (Cornell University)|Dec 11, 2016

Complex Network Analysis Techniques参考文献 7被引用 5

一句话总结

本文提出了一种基于团的社区检测算法（CAA），并使用社区规模、覆盖率、模块度、三角形参与率（TPR）以及基于标签的用户兴趣对社区检测算法进行评估。CAA 和 InfoMap 在生成规模为 4–150 的有意义社区方面优于其他算法，这些社区具有较强的主题一致性；而现有方法往往产生过小或过大、不连贯的社区。

ABSTRACT

Understanding community structure in social media is critical due to its broad applications such as friend recommendations, link predictions and collaborative filtering. However, there is no widely accepted definition of community in literature. Existing work use structure related metrics such as modularity and function related metrics such as ground truth to measure the performance of community detection algorithms, while ignoring an important metric, size of the community. [1] suggests that the size of community with strong ties in social media should be limited to 150. As we discovered in this paper, the majority of the communities obtained by many popular community detection algorithms are either very small or very large. Too small communities don't have practical value and too large communities contain weak connections therefore not stable. In this paper, we compare various community detection algorithms considering the following metrics: size of the communities, coverage of the communities, extended modularity, triangle participation ratio, and user interest in the same community. We also propose a simple clique based algorithm for community detection as a baseline for the comparison. Experimental results show that both our proposed algorithm and the well-accepted disjoint algorithm InfoMap perform well in all the metrics.

研究动机与目标

• 解决在评估社区检测算法时被忽视的社区规模指标问题。
• 通过关注规模约束（4–150 人）来识别并衡量社区的实用性，基于认知与社交限制。
• 不仅通过结构指标，还通过用户标签分析评估算法的主题一致性。
• 提出一种新颖的基于团的算法（CAA），以生成重叠的、高质量的社区，适用于社交媒体环境。
• 证明仅优化模块度是不够的，必须同时考虑社区规模和主题一致性。

提出的方法

• 提出团增强算法（CAA），从最大团出发，利用增长阈值和重叠阈值扩展社区。
• 使用增长阈值控制社区规模，使用重叠阈值管理社区间的重叠程度。
• 应用五项评估指标：社区规模分布、覆盖率（处于理想规模范围内的用户比例）、扩展模块度、三角形参与率（TPR）以及用户兴趣的标签相似性。
• 收集每位用户的前 10 个标签，并人工标注主题以评估社区的一致性。
• 在 2013 年的 Twitter 网络（共 318,233 名用户）上评估五种算法——InfoMap、特征向量法、快速贪婪法、多层法和 CAA。
• 使用 TPR 衡量社区内部凝聚力，值越高表示社区内三角形聚类越紧密。

实验结果

研究问题

• RQ1 现有社区检测算法在社区规模分布方面表现如何？它们是否生成了具有实际意义的规模（4–150 人）的社区？
• RQ2 检测到的社区在多大程度上反映了用户的共同兴趣，通过标签相似性衡量？
• RQ3 简单的基于团的算法（CAA）是否能在生成有意义、凝聚性强且规模适中的社区方面优于现有成熟算法？
• RQ4 社区规模如何影响检测到的社区的稳定性和主题一致性？
• RQ5 在算法过程中引入规模约束后，模块度优化能否得到显著提升？

主要发现

• InfoMap 将 62% 的用户分配到 4–150 人的社区中，表明其对理想社区规模的覆盖率较高。
• 特征向量法生成的社区中 93% 的规模为 1–3 人，导致仅有不到 7% 的用户被分配到有意义的社区中。
• CAA 在理想规模社区中的覆盖率达到了 41%，在该指标上优于快速贪婪法、多层法和特征向量法。
• CAA 在所有算法中取得了最高的三角形参与率（TPR），表明其内部凝聚力最强。
• CAA 检测到的社区表现出最强的标签相似性，50 个抽样社区中有 10 个被分类为具有共同主题的‘优质’社区。
• InfoMap 生成的大社区（150–300 人）缺乏主题一致性，常见标签如 #wcw 和 #tbt 并非主题特异性。