[论文解读] Hierarchical Graph Clustering using Node Pair Sampling

Thomas Bonald, Bertrand Charpentier+2 more|arXiv (Cornell University)|Jun 5, 2018

Complex Network Analysis Techniques参考文献 22被引用 35

一句话总结

该论文提出了一种无需参数、快速且内存高效的分层图聚类算法，基于节点对采样以捕捉多尺度社区结构。通过定义基于节点对联合概率与边缘概率之比的可约简距离，该方法利用最近邻链算法实现高效的凝聚聚类，生成规则的树状图，揭示真实和合成图中的分层组织结构，且速度优于谱方法。

ABSTRACT

We present a novel hierarchical graph clustering algorithm inspired by modularity-based clustering techniques. The algorithm is agglomerative and based on a simple distance between clusters induced by the probability of sampling node pairs. We prove that this distance is reducible, which enables the use of the nearest-neighbor chain to speed up the agglomeration. The output of the algorithm is a regular dendrogram, which reveals the multi-scale structure of the graph. The results are illustrated on both synthetic and real datasets.

研究动机与目标

• 解决现有图聚类算法缺乏完整分层结构且需要难以调优的分辨率参数的局限性。
• 开发一种无需参数、快速且内存高效的算法，以揭示图中的多尺度社区结构。
• 设计一种在数学上可约简的簇间距离度量，以实现高效分层聚类并生成规则树状图。
• 提供完整的聚类层次结构，可用于多分辨率分析，而不同于Louvain等算法仅生成少数聚合步骤。

提出的方法

• 该算法使用节点对采样来定义节点间距离：d(i,j) = p(i)p(j)/p(i,j)，其中p(i,j)为按总权重归一化的边权重。
• 通过可约简度量将该距离扩展至簇，确保分层聚类可表示为规则树状图。
• 应用最近邻链算法，通过避免每一步的完整距离计算，加速凝聚聚类。
• 该方法为凝聚式聚类，从单个节点簇开始，基于定义的距离迭代合并最近的簇对。
• 通过稀疏矩阵运算高效实现该算法，避免了谱嵌入或分辨率参数调优的需要。
• 该方法基于模块度原理，但通过动态距离计算引入滑动分辨率，对Louvain算法进行改进。

实验结果

研究问题

• RQ1 能否设计一种图聚类算法，既无需参数调节，又能揭示多尺度社区结构？
• RQ2 所提出的簇间节点对采样距离是否具有可约简性，从而支持高效分层聚类并生成规则树状图？
• RQ3 所提出的Paris算法在聚类质量与运行时间方面与谱聚类和Louvain相比表现如何？
• RQ4 该算法能否生成反映现实世界图内在多尺度特性的完整聚类层次结构？

主要发现

• 在OpenStreet数据集上，Paris算法的归一化Dasgupta代价为0.0102，优于谱聚类（0.0103），并在大多数数据集上表现匹配或更优。
• 在Amazon图上，Paris在43秒内达到归一化代价0.0297，显著快于谱聚类（未在时间限制内完成）。
• 在DBLP图上，Paris在31秒内达到代价0.110，而Louvain耗时52秒，表明其在保持竞争力质量的同时速度更优。
• 在大型YouTube图上，Paris耗时16分30秒完成，虽慢于Louvain（8分钟），但提供了完整的分层输出，而Louvain缺乏完整分层结果。
• 在Wikipedia Schools上，Paris的代价为0.402；在Wikipedia Humans上为0.131，显示出在复杂现实数据集上的强劲表现。
• Paris在所有测试图上均持续快于谱聚类，除最大图外其余运行时间均低于2分钟；且在大多数数据集上速度优于Louvain，同时提供更丰富的分层输出。