[论文解读] How the result of graph clustering methods depends on the construction of the graph

Markus Maier, Ulrike von Luxburg+1 more|arXiv (Cornell University)|Feb 10, 2011

Complex Network Analysis Techniques参考文献 10被引用 7

一句话总结

本文研究了相似性图的构建方式——特别是图类型（k-最近邻、r-邻域、高斯分布）、参数（k、r、σ）以及边权重——如何影响谱聚类等图聚类算法的结果。研究结果表明，归一化割（normalized cut）和切赫尔割（Cheeger cut）的值会因图类型的不同而收敛到不同的极限值，这意味着即使在底层数据分布固定的情况下，聚类结果仍会系统性地受到图构建方式的影响。

ABSTRACT

We study the scenario of graph-based clustering algorithms such as spectral clustering. Given a set of data points, one first has to construct a graph on the data points and then apply a graph clustering algorithm to find a suitable partition of the graph. Our main question is if and how the construction of the graph (choice of the graph, choice of parameters, choice of weights) influences the outcome of the final clustering result. To this end we study the convergence of cluster quality measures such as the normalized cut or the Cheeger cut on various kinds of random geometric graphs as the sample size tends to infinity. It turns out that the limit values of the same objective function are systematically different on different types of graphs. This implies that clustering results systematically depend on the graph and can be very different for different types of graph. We provide examples to illustrate the implications on spectral clustering.

研究动机与目标

• 研究图聚类结果对相似性图构建的统计依赖性。
• 分析不同图类型（k-最近邻、r-邻域、高斯加权）对归一化割（NCut）和切赫尔割等聚类质量度量收敛性的影响。
• 确定通过谱聚类找到的最优聚类划分是否系统性地受图构建参数选择的影响。
• 为不同图构建方式导致不同聚类结果提供理论依据，即使在密度估计中表现出相似的渐近行为。

提出的方法

• 对随机几何图在样本量 n → ∞ 时归一化割（NCut）和切赫尔割的收敛性进行理论分析。
• 研究在不同图类型（k-最近邻、r-邻域、高斯加权图）下，NCut 和 Cheeger cut 的极限值。
• 利用偏差与方差分解方法，分析 NCut 目标函数中割和体积项的收敛性。
• 应用几何概率工具，通过边界条带上的积分来界定边界点对割和体积项的影响。
• 基于带宽序列（σₙ, rₙ）的条件，推导不同图构建方式下偏差与方差项的收敛速率。
• 利用几何积分结果（F_C^(q), F_B^(q)）来表征图权重如何影响聚类质量度量的极限行为。

实验结果

研究问题

• RQ1 图类型的选择（k-最近邻 vs. r-邻域 vs. 高斯分布）如何影响数据集上归一化割的极限值？
• RQ2 为何不同的图构建方式会导致谱聚类中系统性不同的最优聚类结果，即使在密度估计中表现出相似的行为？
• RQ3 在不同图类型和参数序列下，NCut 目标函数中偏差与方差项的收敛速率是什么？
• RQ4 边界效应如何影响图聚类目标函数中割和体积项的收敛性？
• RQ5 能否推导出理论条件，使得图上的 NCut 值以概率几乎处处收敛到其总体极限？

主要发现

• 即使在底层数据分布固定的情况下，归一化割（NCut）值也会因所用图类型的差异而收敛到不同的极限值。
• 对于 k-最近邻图和 r-邻域图，NCut 的极限值对密度的不同幂次进行积分，导致最优聚类结果系统性不同。
• 割的偏差项以 O(σₙ^α) 的速率收敛到零，其中任意 α ∈ (0,1)，在适当条件下最优收敛速率出现在 σₙ = ((log n)/n)^{1/(d+3)} 处。
• 在条件 nσₙ^{d+1}/log n → ∞ 下，割的方差项以概率几乎处处收敛到零，这保证了 NCut 目标函数的一致性。
• 对于满足 rₙ/σₙ → 0 的高斯加权图，当 nrₙ^{d+1}/log n → ∞ 时，割和体积项收敛到其总体极限。
• 边界点对割和体积的影响被限制在 O(rₙ) 范围内，表明在渐近情形下边缘效应可忽略。