[論文レビュー] Improved Cheeger's Inequality: Analysis of Spectral Partitioning Algorithms through Higher Order Spectral Gap

Tsz Chiu Kwok, Lap Chi Lau+3 more|arXiv (Cornell University)|Jan 23, 2013

Sparse and Compressive Sensing Techniques参考文献 8被引用数 16

ひとこと要約

この論文は、スペクトル分割法アルゴリズムが、正規化ラプラシアンの固有値 $ \lambda_2 $ と $ \lambda_k $ を用いて、スパースカット問題に対して $ O(k) \frac{\lambda_2}{\sqrt{\lambda_k}} $ の近似比を達成することを示すことにより、チーリングの不等式を改善している。この結果は、ある $ k \geq 2 $ に対して $ \lambda_k $ が定数である場合、スペクトル分割法が定数因子近似であることを示しており、クラスタリングや画像セグメンテーションにおけるその実験的成功の理論的裏付けを提供する。

ABSTRACT

Let ϕ(G) be the minimum conductance of an undirected graph G, and let 0=λ_1 <= λ_2 <=... <= λ_n <= 2 be the eigenvalues of the normalized Laplacian matrix of G. We prove that for any graph G and any k >= 2, ϕ(G) = O(k) λ_2 / \sqrt{λ_k}, and this performance guarantee is achieved by the spectral partitioning algorithm. This improves Cheeger's inequality, and the bound is optimal up to a constant factor for any k. Our result shows that the spectral partitioning algorithm is a constant factor approximation algorithm for finding a sparse cut if λ_k$ is a constant for some constant k. This provides some theoretical justification to its empirical performance in image segmentation and clustering problems. We extend the analysis to other graph partitioning problems, including multi-way partition, balanced separator, and maximum cut.

研究の動機と目的

• グラフにおけるスパースカットを見つけるためのスペクトル分割法アルゴリズムの理論的分析をより厳密に行う。
• 高次スペクトルギャップ $ \lambda_k $ を組み込むことにより、チーリングの不等式を一般化し、近似保証を改善する。
• 精密な理論枠組みを用いて、スペクトル分割法がクラスタリングや画像セグメンテーションで実験的に成功する理由を説明する。
• 同じスペクトルギャップフレームワークを用いて、マルチウェイ分割、バランスドセパレータ、マックスカット問題へと分析を拡張する。
• 固有空間の数値的安定性とアルゴリズムの性能との関係、特にエッジ重みの摂動下での関係を確立する。

提案手法

• 第二固有値 $ \lambda_2 $ と $ k $ 番目の固有値 $ \lambda_k $ を用いて、スペクトル分割法の出力集合のコンductance に対する新しい上界を提案する。
• 固有値の変分的特徴づけとエネルギー下界を用いて、レイリー商とコンダクタンスの関係を導出する。
• 第二固有ベクトル $ g $ に対して、$ f = g / \sqrt{d} $ と正規化した上で、しきい値処理技術を導入し、候補となるカットを生成する。
• ディリクレ境界条件とエネルギー分解に基づく新しい解析技術を適用し、しきい値集合のコンダクタンスを評価する。
• デイヴィス＝カハンの定理を活用し、スペクトルギャップの安定性とエッジ重みの摂動に対するアルゴリズムのロバストネスを結びつける。
• 二部グラフ比とカット拡張性を高次固有値に関連付けることで、マルチウェイ分割とマックスカット問題へのフレームワークの拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 チーリングの不等式は、$ \lambda_2 $ に依存するのではなく、高次固有値 $ \lambda_k $ を組み込むことで改善可能か？
• RQ2 スペクトル分割法アルゴリズムがスパースカット問題に対して定数因子近似を達成するためのスペクトル的条件は何か？
• RQ3 上位 $ k $ 次元固有空間の安定性は、スペクトル分割法の性能にどのように関係するか？
• RQ4 高次スペクトルギャップを用いて、スペクトル分割法の解析をマルチウェイ分割とバランスドセパレータ問題へと拡張可能か？
• RQ5 $ (c,\epsilon) $-安定性の緩い定義とスペクトルギャップ $ \lambda_k $ の間にどのような関係があるか？

主な発見

• スペクトル分割法は、スパースカット問題に対して $ O(k) \frac{\lambda_2}{\sqrt{\lambda_k}} $ の近似比を達成し、古典的な $ O(\sqrt{\lambda_2}) $ の境界を改善している。
• サイクルグラフの例により、この境界が定数因子の意味で最適であることが示されている（$ \phi(G) = \Omega(k\lambda_2 / \sqrt{\lambda_k}) $）。
• ある定数 $ k \geq 2 $ に対して $ \lambda_k $ が定数であれば、スペクトル分割法はスパースカット問題に対して定数因子近似を提供する。
• マルチウェイ分割への分析拡張により、アルゴリズムの性能が $ \lambda_k $ と $ \lambda_{k+1} $ のギャップに依存することが分かった。
• マックスカット問題に対しては、二部グラフ比に関する improved bounds が得られ、性能 $ O(k\lambda_2 / \sqrt{\lambda_k}) $ のスペクトルアルゴリズムが導出された。
• 本稿では、$ \lambda_k $ が $ \lambda_{k+1} $ よりも大きく、相対的に大きなギャップを示すインスタンスは、$ (c, \Theta(c\lambda_2 / \lambda_3^{3/2})) $-安定であることが示され、スペクトル的安定性とアルゴリズム的ロバストネスの関係が確立された。