[论文解读] Do logarithmic proximity measures outperform plain ones in graph clustering?

Vladimir Ivashkin, Pavel Chebotarev|arXiv (Cornell University)|May 3, 2016

Advanced Clustering Algorithms Research被引用 4

一句话总结

本文研究了图邻近度度量的对数变换是否相比原始度量能提升聚类性能。结果表明，在大多数情况下——尤其是同质类别的随机图中——像连通性（Communicability）和平均 commute 时间（Commute Time）这类邻近度量的对数版本，由于与聚类算法的加法性质具有根本兼容性，其性能优于原始版本。对数变换将乘法核特性转化为加法距离结构，从而增强聚类分离效果。

ABSTRACT

We consider a number of graph kernels and proximity measures including commute time kernel, regularized Laplacian kernel, heat kernel, exponential diffusion kernel (also called "communicability"), etc., and the corresponding distances as applied to clustering nodes in random graphs and several well-known datasets. The model of generating random graphs involves edge probabilities for the pairs of nodes that belong to the same class or different predefined classes of nodes. It turns out that in most cases, logarithmic measures (i.e., measures resulting after taking logarithm of the proximities) perform better while distinguishing underlying classes than the "plain" measures. A comparison in terms of reject curves of inter-class and intra-class distances confirms this conclusion. A similar conclusion can be made for several well-known datasets. A possible origin of this effect is that most kernels have a multiplicative nature, while the nature of distances used in cluster algorithms is an additive one (cf. the triangle inequality). The logarithmic transformation is a tool to transform the first nature to the second one. Moreover, some distances corresponding to the logarithmic measures possess a meaningful cutpoint additivity property. In our experiments, the leader is usually the logarithmic Communicability measure. However, we indicate some more complicated cases in which other measures, typically, Communicability and plain Walk, can be the winners.

研究动机与目标

• 评估图邻近度度量的对数变换是否相比原始度量能提升聚类性能。
• 探究对数度量在聚类任务中表现优于原始度量的潜在原因。
• 比较多种邻近度度量（包括热核、连通性、行走路径、以及 commute 时间核）在原始与对数形式下的表现。
• 在多种图结构上评估性能，包括具有不同类大小的随机图和真实世界数据集。
• 确定对数度量的优越性是否在不同聚类算法和参数设置下依然成立。

提出的方法

• 研究采用随机图模型 $G(N, m, p_{\text{in}}, p_{\text{out}})$，其中预定义了类，并为类内和类间连接设定了边概率。
• 评估了13种邻近度度量族，包括连通性、行走路径、热核、森林和 commute 时间核的原始与对数变体。
• 通过在每种设置下生成的50张图中进行成对锦标赛，使用柯帕兰德得分（Copeland’s score）评估性能，分别采用最优参数及第90/80百分位参数。
• 通过拒绝曲线（reject curves）和ROC曲线比较类间与类内距离，以评估可分性，而无需依赖特定聚类算法。
• 理论分析探讨了邻近度度量与度量之间的对偶性，特别关注三角不等式，以及对数变换在将乘法核与加法距离结构对齐中的作用。
• 研究进一步扩展至真实世界数据集（如足球、polbooks、Zachary），以验证结果在合成图之外的适用性。

实验结果

研究问题

• RQ1 对数邻近度度量是否在图聚类任务中始终优于原始邻近度度量？
• RQ2 对数度量相比原始度量表现出性能提升的潜在原因是什么？
• RQ3 在包括异质类大小在内的多种图结构中，不同邻近度度量（尤其是对数变体）的表现如何？
• RQ4 是否存在某些网络类型或配置下，原始度量反而优于对数度量？
• RQ5 对数变换是否能有效调和图核的乘法性质与聚类算法的加法性质之间的不匹配？

主要发现

• 在大多数情况下，尤其是在具有同质类别的随机图中，对数邻近度度量在聚类性能上优于原始度量，其中对数连通性（log-Communicability）表现最佳。
• 对数变换通过将图核的乘法性质转化为与聚类算法中使用的三角不等式兼容的加法距离结构，从而提升聚类性能。
• 在随机图的最优参数锦标赛中，对数连通性（log-Communicability）以62分的柯帕兰德得分排名第一，其次是Sigmoid校正的commute时间（SCCT）（62分）和对数森林（log-Forest）（59分）。
• 在真实世界数据集（如足球和polbooks）中，对数连通性在最优参数锦标赛中分别以61分和59分的得分再次领先。
• 在次优参数下，对数度量的性能稳定性较差：例如，logHeat 和 RSP 在使用第80百分位参数时排名显著下降，表明其鲁棒性较低。
• 在复杂且异质的网络中——尤其是类大小不均或类数较多的网络中——原始度量如 Comm 和 pWalk 可能优于对数变体，表明其优越性具有上下文依赖性。