[论文解读] Local Network Community Detection with Continuous Optimization of Conductance and Weighted Kernel K-Means

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|Jan 21, 2016

Complex Network Analysis Techniques被引用 29

一句话总结

该论文通过引入 $σ$-导通率（$σ$-conductance），提出了一种用于局部社区检测的连续优化框架，该目标函数通过正则化统一了导通率与加权核 $k$-均值聚类。利用投影梯度下降（PGDc）和期望最大化（EMc）方法，该方法通过优化 $σ$-导通率，实现了高质量且局部化的社区检测。实验表明，在大规模网络上，该方法在定位性和准确性方面均优于基于扩散的方法。

ABSTRACT

Local network community detection is the task of finding a single community of nodes concentrated around few given seed nodes in a localized way. Conductance is a popular objective function used in many algorithms for local community detection. This paper studies a continuous relaxation of conductance. We show that continuous optimization of this objective still leads to discrete communities. We investigate the relation of conductance with weighted kernel k-means for a single community, which leads to the introduction of a new objective function, $σ$-conductance. Conductance is obtained by setting $σ$ to $0$. Two algorithms, EMc and PGDc, are proposed to locally optimize $σ$-conductance and automatically tune the parameter $σ$. They are based on expectation maximization and projected gradient descent, respectively. We prove locality and give performance guarantees for EMc and PGDc for a class of dense and well separated communities centered around the seeds. Experiments are conducted on networks with ground-truth communities, comparing to state-of-the-art graph diffusion algorithms for conductance optimization. On large graphs, results indicate that EMc and PGDc stay localized and produce communities most similar to the ground, while graph diffusion algorithms generate large communities of lower quality.

研究动机与目标

• 为解决离散、贪心的局部优化在社区检测中的局限性，通过导通率的连续松弛实现优化。
• 形式化建立导通率与加权核 $k$-均值聚类（$k=1$ 时）之间的联系。
• 提出一种新的目标函数 $σ$-导通率，通过平衡导通率与正则化项，以提升社区质量和定位性。
• 设计高效的算法（PGDc 和 EMc），在自动调节 $σ$ 和保证局部性的同时优化 $σ$-导通率。
• 通过实证验证，连续优化可产生离散的高质量社区，避免了仅使用导通率方法中常见的大而低质量社区问题。

提出的方法

• 提出导通率的连续松弛，以允许在优化过程中存在节点的分数隶属度。
• 引入 $σ$-导通率作为混合目标函数：导通率加上由 $σ$ 控制的正则化项，其来源于 $k=1$ 时的加权核 $k$-均值框架。
• 基于投影梯度下降开发 PGDc 算法以优化 $σ$-导通率，并根据社区密度自适应调节 $σ$。
• 基于期望最大化开发 EMc 算法以优化 $σ$-导通率，利用其与 $k$-均值聚类的关联性。
• 通过局部性证明表明，连续松弛的严格局部最优解为离散社区，从而确保实际可用性。
• 采用基于密度的准则动态选择 $σ$，在结构分离良好的网络中更倾向于选择更小、更密集的社区。

实验结果

研究问题

• RQ1 导通率的连续松弛是否能产生无分数隶属度的离散高质量社区？
• RQ2 导通率与单社区检测下的加权核 $k$-均值之间有何关系？
• RQ3 新的目标函数 $σ$-导通率是否能通过平衡导通率与正则化项，提升社区的定位性和质量？
• RQ4 PGDc 和 EMc 在大规模网络上是否优于基于扩散的方法，在定位性和与真实社区的相似性方面表现更优？
• RQ5 参数 $σ$ 如何影响优化过程中局部最优解的数量与质量？

主要发现

• 导通率连续松弛的严格局部最优解几乎总是离散社区，因此可直接将连续优化用于获取离散结果。
• 所提出的 $σ$-导通率目标函数可通过社区密度实现 $σ$ 的自动调节，当 $σ > 2$ 时，可确保所有离散社区均为局部最优解。
• 在大规模网络上，PGDc 和 EMc 生成的社区比最先进的基于扩散的算法更局部化，且与真实社区更相似。
• 当优化标准导通率（$σ = 0$）时，PGDc 和 EMc 避免了生成导通率高但真实社区匹配度差的过大社区的问题。
• PGDc 和 EMc 的运行速度约为基于 C++ 的扩散方法（如 HK、PPR）的四到二十倍，但其社区质量与定位性优势可有效弥补速度劣势。
• 在仅使用前 5000 个真实社区的实验中，PGDc-0 和 EMc-0 的表现优于其 $σ$-调优版本，证实当真实社区密集且较小时，$σ=0$ 为最优选择。