[论文解读] Improved Cheeger's Inequality: Analysis of Spectral Partitioning Algorithms through Higher Order Spectral Gap

Tsz Chiu Kwok, Lap Chi Lau+3 more|arXiv (Cornell University)|Jan 23, 2013

Sparse and Compressive Sensing Techniques参考文献 8被引用 16

一句话总结

本文通过证明谱划分算法在稀疏割问题中实现了 $ O(k) \frac{\lambda_2}{\sqrt{\lambda_k}} $ 的近似比，改进了切赫不等式，其中 $ \lambda_2 $ 和 $ \lambda_k $ 是归一化拉普拉斯矩阵的特征值。当某个 $ k \geq 2 $ 时 $ \lambda_k $ 为常数，该结果表明谱划分是一种常数因子近似算法，为它在聚类和图像分割中的经验成功提供了理论依据。

ABSTRACT

Let ϕ(G) be the minimum conductance of an undirected graph G, and let 0=λ_1 <= λ_2 <=... <= λ_n <= 2 be the eigenvalues of the normalized Laplacian matrix of G. We prove that for any graph G and any k >= 2, ϕ(G) = O(k) λ_2 / \sqrt{λ_k}, and this performance guarantee is achieved by the spectral partitioning algorithm. This improves Cheeger's inequality, and the bound is optimal up to a constant factor for any k. Our result shows that the spectral partitioning algorithm is a constant factor approximation algorithm for finding a sparse cut if λ_k$ is a constant for some constant k. This provides some theoretical justification to its empirical performance in image segmentation and clustering problems. We extend the analysis to other graph partitioning problems, including multi-way partition, balanced separator, and maximum cut.

研究动机与目标

• 为谱划分算法在图中寻找稀疏割问题提供更紧致的理论分析。
• 通过引入高阶谱间隙 $ \lambda_k $，推广切赫不等式，从而改进近似保证。
• 通过更精细的理论框架，解释谱划分在聚类和图像分割中经验成功的原因。
• 利用相同的谱间隙框架，将分析扩展至多路划分、平衡分割和最大割问题。
• 建立特征子空间数值稳定性与算法性能之间的联系，尤其在扰动下的鲁棒性。

提出的方法

• 提出一个新上界，用于衡量谱划分算法输出集合的导出率，该上界基于第二特征值 $ \lambda_2 $ 和第 $ k $ 个特征值 $ \lambda_k $。
• 利用特征值的变分表征和能量下界，推导出瑞利商与导出率之间的关系。
• 对第二个特征向量 $ g $（归一化为 $ f = g / \sqrt{d} $）引入一种阈值化技术，以生成候选割集。
• 采用基于狄利克雷边界条件和能量分解的新分析技术，以界定阈值集合的导出率。
• 利用戴维斯-卡汉定理，将谱间隙的稳定性与算法在边权扰动下的鲁棒性联系起来。
• 通过将二分性比和割扩展性与更高阶特征值关联，将该框架扩展至多路划分和最大割问题。

实验结果

研究问题

• RQ1 是否可以通过引入更高阶特征值 $ \lambda_k $ 而非仅依赖 $ \lambda_2 $，来改进切赫不等式？
• RQ2 在何种谱条件下，谱划分算法能对稀疏割问题实现常数因子近似？
• RQ3 顶部 $ k $-维特征子空间的稳定性如何与谱划分的性能相关联？
• RQ4 能否利用高阶谱间隙，将谱划分的分析扩展至多路划分和平衡分割问题？
• RQ5 松弛的 $ (c,\epsilon) $-稳定性与谱间隙 $ \lambda_k $ 之间存在何种关系？

主要发现

• 谱划分算法在稀疏割问题中实现了 $ O(k) \frac{\lambda_2}{\sqrt{\lambda_k}} $ 的近似比，优于经典的 $ O(\sqrt{\lambda_2}) $ 上界。
• 通过一个环形图的实例表明，该上界在常数因子范围内是最优的，即 $ \phi(G) = \Omega(k\lambda_2 / \sqrt{\lambda_k}) $。
• 当某个常数 $ k \geq 2 $ 时 $ \lambda_k $ 为常数，谱划分算法对稀疏割问题提供了常数因子近似。
• 该分析可扩展至多路划分，表明算法性能取决于 $ \lambda_k $ 与 $ \lambda_{k+1} $ 之间的间隙。
• 对于最大割问题，本文推导出关于二分性比的改进界，并提出一种性能为 $ O(k\lambda_2 / \sqrt{\lambda_k}) $ 的谱算法。
• 本文建立：当谱间隙 $ \lambda_k $ 相对于 $ \lambda_{k+1} $ 较大时，实例具有 $ (c, \Theta(c\lambda_2 / \lambda_3^{3/2})) $-稳定性，从而将谱稳定性与算法鲁棒性联系起来。