[论文解读] Debiasing Community Detection: The Importance of Lowly-Connected Nodes

Ninareh Mehrabi, Fred Morstatter+2 more|arXiv (Cornell University)|Mar 19, 2019

Complex Network Analysis Techniques参考文献 20被引用 7

一句话总结

本文提出 CLAN，一种通过将低度数、连接稀疏的用户整合到更大、更有意义的社区中来减少偏差的社区检测方法。通过结合网络结构与节点属性，CLAN 在保持检测精度的同时，显著提升了低度数用户在社区中的包含率，同时在 F1 和 Jaccard 相似度评分上优于当前最先进方法。

ABSTRACT

Community detection is an important task in social network analysis, allowing us to identify and understand the communities within the social structures. However, many community detection approaches either fail to assign low degree (or lowly-connected) users to communities, or assign them to trivially small communities that prevent them from being included in analysis. In this work, we investigate how excluding these users can bias analysis results. We then introduce an approach that is more inclusive for lowly-connected users by incorporating them into larger groups. Experiments show that our approach outperforms the existing state-of-the-art in terms of F1 and Jaccard similarity scores while reducing the bias towards low-degree users.

研究动机与目标

• 证明现有社区检测方法因排除或孤立低度数、连接稀疏的用户而引入偏差。
• 表明这些被排除的用户通常携带与社区身份和动态相关的有意义且多样化的信息。
• 开发一种新方法 CLAN，有效将低度数用户整合到相关社区中，同时不损害检测精度。
• 在社区成员身份与节点度数相关联的偏态数据环境下，评估 CLAN 的鲁棒性。

提出的方法

• CLAN 整合网络拓扑与节点属性以识别社区，优先考虑低度数节点的纳入。
• 该方法采用两阶段流程：首先通过模块度优化识别主要社区，然后根据属性和结构相似性为低度数节点分配社区。
• 利用结合网络接近度与属性一致性的混合相似度度量，将低度数节点分类至现有社区。
• 该方法旨在保持社区完整性的同时，最小化为低度数节点形成琐碎、孤立社区的风险。
• 实验包括生成合成数据，其中社区成员身份显式与节点度数相关，以测试方法的鲁棒性。
• 性能通过与 CESNA 和 Louvain 等最先进方法对比的 F1 分数和 Jaccard 相似度进行评估。

实验结果

研究问题

• RQ1 现有社区检测方法在多大程度上未能包含低度数用户？这种排除在多大程度上导致了社区结构的偏差？
• RQ2 在社区检测中，低度数用户的信息价值是什么，特别是在反映多样化观点和信念方面？
• RQ3 能否设计一种社区检测方法，使低度数用户得以纳入，同时不降低整体性能或社区质量？
• RQ4 在社区成员身份与节点度数相关联的合成数据环境中，CLAN 的表现如何，能否模拟现实世界中的偏差？

主要发现

• CLAN 在 F1 分数和 Jaccard 相似度上显著优于当前最先进方法，尤其在检测包含低度数用户的社区方面表现突出。
• 在 Gamergate 数据集中，CESNA 排除了 38.6% 的唯一标签（如 #gamerignorance、#ethicsinjournalism），表明存在大量信息损失。
• 在 U.S. 总统选举数据集中，CESNA 丢弃了 66.9% 的唯一标签（如 #refugeeswelcome、#OscarsStillSoWhite），显示出社区表征中的严重偏差。
• 在具有偏态度分布的合成实验中，CLAN 保持了强劲性能，表明其对低度数用户系统性被低估的数据环境具有鲁棒性。
• 定性分析表明，低度数用户集体表达了细致且多样的观点，而这些观点在传统方法中被排除时会消失。
• 仅依赖网络结构的 Louvain 方法在 Gamergate 数据集中丢弃了 40.4% 的标签，凸显了基于度数的排除风险。