[论文解读] A Higher-Order Cheeger's Inequality

Shayan Oveis Gharan, Luca Trevisan|arXiv (Cornell University)|Jul 13, 2011

Graph theory and applications参考文献 15被引用 3

一句话总结

该论文通过证明一个高阶Cheeger不等式，解决了长期存在的一个猜想：当归一化邻接矩阵中存在 $k$ 个接近 1 的特征值时，图可以被划分为 $k$ 个子集，每个子集内部的割都较稀疏。该结果为使用前 $k$ 个特征向量对图进行嵌入和划分的谱聚类方法提供了理论基础。

ABSTRACT

A basic fact in algebraic graph theory is that the number of connected components in an undirected graph is equal to the multiplicity of the eigenvalue 1 in the normalized adjacency matrix of the graph. In particular, the graph is disconnected if and only if there are at least two eigenvalues equal to 1. Cheeger's inequality provides an "approximate" version of the latter fact, and it states that a graph has a sparse cut (it is "almost disconnected") if and only if there are at least two eigenvalues that are close to one. It has been conjectured that an analogous characterization holds for higher multiplicities, that is there are $k$ eigenvalues close to 1 if and only if the vertex set can be partitioned into $k$ subsets, each defining a sparse cut. In this paper we resolve this conjecture. Our result provides a theoretical justification for clustering algorithms that use the top $k$ eigenvector to embed the vertices into $\R^k$, and then apply geometric considerations to the embedding.

研究动机与目标

• 解决一个长期存在的猜想：即归一化邻接矩阵中 $k$ 个接近 1 的特征值对应于图被划分为 $k$ 个稀疏割的 $k$ 路划分。
• 为利用前 $k$ 个特征向量将顶点嵌入 $\mathbb{R}^k$ 并应用几何聚类的聚类算法提供理论依据。
• 将原始针对 $k=2$ 的Cheeger不等式推广到更高重数，建立谱性质与图结构之间的定量联系。
• 形式化接近 1 的特征值重数与图中存在多个稀疏割之间的关系。

提出的方法

• 通过分析归一化邻接矩阵的谱性质，形式化高阶Cheeger不等式。
• 利用变分原理和谱隙论证，将接近 1 的特征值重数与存在 $k$ 个不相交子集、每个子集内部扩张较小的性质联系起来。
• 定义一种 $k$ 路扩张的概念，将标准的Cheeger常数推广到多个连通分量的情形。
• 应用谱图理论和等周不等式的技术，对 $k$-划分中每个分量的扩张进行有界。
• 利用接近 1 的特征值表明在各分量上函数近乎常数的性质，从而构造出扩张较小的 $k$-划分。
• 使用前 $k$ 个特征向量将顶点嵌入 $\mathbb{R}^k$，然后应用几何聚类以提取出 $k$ 个稀疏分量。

实验结果

研究问题

• RQ1 归一化邻接矩阵中存在 $k$ 个接近 1 的特征值，是否意味着图可以被划分为 $k$ 个稀疏割的 $k$ 路划分？
• RQ2 归一化邻接矩阵的谱结构能否用于验证存在 $k$ 个不相交子集，每个子集内部扩张均较小？
• RQ3 是否存在一个定量的高阶Cheeger不等式，将特征值重数与 $k$ 路图划分联系起来？
• RQ4 前 $k$ 个特征向量的嵌入如何与具有稀疏割的 $k$-划分的几何结构相关联？

主要发现

• 论文证明：若归一化邻接矩阵中存在 $k$ 个特征值与 1 的距离在 $\varepsilon$ 以内，则顶点集可被划分为 $k$ 个子集，每个子集的扩张至多为 $O(\sqrt{\varepsilon})$。
• 反之，若图可被划分为 $k$ 个扩张较小的子集，则存在 $k$ 个特征值与 1 的距离在 $O(\varepsilon)$ 以内。
• 该结果在谱重数与图划分之间建立了紧密联系，将经典的Cheeger不等式推广到更高重数。
• 该理论框架为谱聚类算法中使用前 $k$ 个特征向量来检测内部连通性较低的多个簇提供了理论支持。