[論文レビュー] Multi-way spectral partitioning and higher-order Cheeger inequalities

James R. Lee, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Nov 4, 2011

Graph theory and applications被引用数 6

ひとこと要約

この論文は、正規化ラプラシアンのk番目に小さい固有値の重複度が、グラフにk個の互いに素なスパースカットが存在することと対応することを証明することで、長年の予想を解決した。直交固有ベクトル、ランダム射影、幾何的ランダム分割を用いたアルゴリズム的マルチウェイスペクトル分割法を導入し、$ ho_G(k) \leq O(\sqrt{\lambda_k \log k})$ のほぼ最適な境界を達成した。ノイズのかかったハイパーキューブグラフにおいてそのタイトネスが示された。

ABSTRACT

A basic fact in spectral graph theory is that the number of connected components in an undirected graph is equal to the multiplicity of the eigenvalue zero in the Laplacian matrix of the graph. In particular, the graph is disconnected if and only if there are at least two eigenvalues equal to zero. Cheeger's inequality and its variants provide an approximate version of the latter fact; they state that a graph has a sparse cut if and only if there are at least two eigenvalues that are close to zero. It has been conjectured that an analogous characterization holds for higher multiplicities, i.e., there are $k$ eigenvalues close to zero if and only if the vertex set can be partitioned into $k$ subsets, each defining a sparse cut. We resolve this conjecture. Our result provides a theoretical justification for clustering algorithms that use the bottom $k$ eigenvectors to embed the vertices into $\mathbb R^k$, and then apply geometric considerations to the embedding. We also show that these techniques yield a nearly optimal tradeoff between the expansion of sets of size $\approx n/k$, and the $k$th smallest eigenvalue of the normalized Laplacian matrix, denoted $λ_k$. In particular, we show that in every graph there is a set of size at most $2n/k$ which has expansion at most $O(\sqrt{λ_k \log k})$. This bound is tight, up to constant factors, for the "noisy hypercube" graphs.

研究の動機と目的

• k個の固有値が0に近いことは、グラフにk個の互いに素なスパースカットが存在することを示すという予想を解決すること。
• ラプラシアンの下位k個の固有ベクトルを用いて頂点を$\mathbb{R}^k$に埋め込むクラスタリングアルゴリズムの理論的基盤を提供すること。
• k番目の固有値$\lambda_k$とkウェイ拡張定数$\rho_G(k)$の間のほぼ最適な定量的関係を確立すること。
• 拡張品質の保証が得られる$k$ウェイスペクトル分割のアルゴリズムフレームワークを構築すること。

提案手法

• Rayleigh商が$O(\lambda_{2k})$で抑えられる$2k$個の直交固有ベクトル$g_1, \dots, g_{2k}$を構築する。
• スペクトル埋め込み$F: V \to \mathbb{R}^{2k}$を$f_i(v) = g_i(v)/\sqrt{w(v)}$で行う。
• 次元を低下させるために、i.i.d. ガウスベクトルを用いて$\mathbb{R}^h$へのランダム射影を行い、$h = O(\log k)$とする。
• 射影空間におけるボールベースのプロセスで、各頂点を最も近いランダムな中心に割り当てるランダム幾何的分割を実行する。
• 質量重み付きノルム$\mathcal{M}(S)$を最小化することで、得られた$m$個の集合を$k' = \lceil 3k/2 \rceil$個の集合に統合し、クラスタ品質をバランスさせる。
• 各統合済み集合に対して、Cheegerスイープを適用し、$\|F^*(v)\|^2$のしきい値を用いて拡張が最小となる$k$個の集合を選択する。

実験結果

リサーチクエスチョン

• RQ1 k個の固有値が0に近いことは、グラフにk個の互いに素なスパースカットが存在することを示唆するか？
• RQ2 ラプラシアンの下位k個の固有ベクトルのみを用いて、保証付きの良い$k$ウェイ分割を達成できるか？
• RQ3 $\rho_G(k)$と$\lambda_k$の間の最もタイトな定量的依存関係は何か？
• RQ4 $k$ウェイ拡張問題において、$\sqrt{\log k}$要因はタイトか？
• RQ5 ランダム射影と幾何的分割を用いて、スペクトルクラスタリングにおける$k$-meansの置き換えが、理論的保証とともに可能か？

主な発見

• 論文は、$\lambda_k$が小さいことは、各集合の拡張が$O(\sqrt{\lambda_k \log k})$であるk個の互いに素な集合の存在を示すという予想を証明した。
• ほぼ最適な上界を確立した：$\rho_G(k) \leq O(\sqrt{\lambda_k \log k})$ であり、ノイズのかかったハイパーキューブグラフにおいて定数因子を除いてタイトであることが示された。
• アルゴリズムは、少なくとも$k/2$個の互いに素な集合を、それぞれの拡張が$O(\sqrt{\lambda_k \log k})$以下に保証する。そのうちの1つはサイズが$2n/k$以下である。
• 各集合の拡張が$O(k^3 \sqrt{\lambda_k})$となる$k$ウェイ分割を達成し、明示的な$k$依存性を伴う既存の境界を改善した。
• 証明はアルゴリズム的であり、高速ラプラシアンソルバーとランダム射影を用いて、ほぼ線形時間で$k$ウェイスペクトル分割を実行するアルゴリズムを導いた。
• $\sqrt{\log k}$要因は、一般のグラフにおいて対数的要因を除いて改善できないことが示され、必要かつタイトであることがわかった。