[論文レビュー] Notes on Elementary Spectral Graph Theory. Applications to Graph Clustering Using Normalized Cuts

Jean Gallier|arXiv (Cornell University)|Nov 11, 2013

Graph theory and applications参考文献 13被引用数 9

ひとこと要約

この論文は、グラフクラスタリングにおける正規化カットに注目したスペクトルグラフ理論の包括的な紹介を提供している。グラフラプラシアンとその正規化形（対称型およびランダムウォーク型）が固有ベクトルを用いた次元削減を可能にし、エネルギー最小化のグラフ描写とスペクトル緩和を介して正規化カット目的関数を最小化することで最適なクラスタリングが得られることを説明している。

ABSTRACT

These are notes on the method of normalized graph cuts and its applications to graph clustering. I provide a fairly thorough treatment of this deeply original method due to Shi and Malik, including complete proofs. I include the necessary background on graphs and graph Laplacians. I then explain in detail how the eigenvectors of the graph Laplacian can be used to draw a graph. This is an attractive application of graph Laplacians. The main thrust of this paper is the method of normalized cuts. I give a detailed account for K = 2 clusters, and also for K > 2 clusters, based on the work of Yu and Shi. Three points that do not appear to have been clearly articulated before are elaborated: 1. The solutions of the main optimization problem should be viewed as tuples in the K-fold cartesian product of projective space RP^{N-1}. 2. When K > 2, the solutions of the relaxed problem should be viewed as elements of the Grassmannian G(K,N). 3. Two possible Riemannian distances are available to compare the closeness of solutions: (a) The distance on (RP^{N-1})^K. (b) The distance on the Grassmannian. I also clarify what should be the necessary and sufficient conditions for a matrix to represent a partition of the vertices of a graph to be clustered.

研究の動機と目的

• グラフラプラシアンや正規化カットに馴染みのない研究者向けに、自己完結的でアクセス可能なスペクトルグラフ理論の入門を提供すること。
• 正規化カットの数学的基盤を明確にすること、特に非正規化および正規化ラプラシアン行列の役割を含む。
• 正規化カットによるグラフクラスタリングを、エネルギー最小化とスペクトル緩和を用いたグラフ描写問題として定式化すること。
• スペクトルクラスタリングと射影空間上でのリーマン幾何学の間の関係を形式化すること、特に RP^n 上での距離の最小化の文脈において。
• 体積、カット、リンク、およびコーアン・フィッシャーの定理といった重要な概念を、グラフ分割の文脈で厳密かつ直感的に扱うこと。

提案手法

• 重み付き無向グラフに対して非正規化グラフラプラシアン $ L = D - W $ を定義し、恒等式 $ x^ op L x = \frac{1}{2} \sum_{i,j} w_{ij}(x_i - x_j)^2 $ を用いてその半正定値性を証明する。
• 正規化ラプラシアン $ L_{\mathrm{sym}} = D^{-1/2} L D^{-1/2} $ および $ L_{\mathrm{rw}} = D^{-1} L $ を導入し、これらが正規化カット目的関数と等価であることを示す。
• エネルギー関数 $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $ を最小化することでグラフクラスタリングをグラフ描写問題として定式化し、$ R $ を埋め込み行列とする。
• スペクトル緩和を用いる：最適な $ n $ 次元埋め込みは、$ L $ の最小の $ n $ 個の非ゼロ固有値に対応する $ n $ 個の固有ベクトルで与えられる。
• レイリー商とコーアン・フィッシャーの定理を用いてスペクトル緩和法の正当性を示し、正規化カットの上限を導出する。
• クラスタリング問題を $ \mathbb{RP}^{n} $ 上にモデル化し、射影空間上の測地線距離の最小化が、反対称性の下で $ \min_{a \in A} \|x - a\|_2 $ または $ \|x + a\|_2 $ の最小化に相当することを示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトルグラフ理論をどのように活用して、グラフクラスタリングにおける正規化カットを最小化できるか？
• RQ2 グラフ描写のエネルギー最小化とグラフラプラシアンを用いたスペクトルクラスタリングの間の数学的関係は何か？
• RQ3 正規化ラプラシアン $ L_{\mathrm{sym}} $ と $ L_{\mathrm{rw}} $ は正規化カット目的関数とどのように関係しているか？
• RQ4 射影空間 $ \mathbb{RP}^n $ の幾何学的性質は、スペクトルクラスタリングにおける最適なクラスタ代表の探索をどのように簡素化するか？
• RQ5 グラフラプラシアンの核は、グラフの連結成分の数とどのように関係しているか？

主な発見

• グラフ内の連結成分の数は、非正規化グラフラプラシアン $ L $ の核の次元に等しく、すなわち $ \dim(\ker L) = $ 連結成分の数である。
• グラフ描写のエネルギー $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $ は、$ R $ が $ L $ の最小の $ n $ 個の非ゼロ固有値に対応する $ n $ 個の固有ベクトルからなるとき、最小化される。
• K-分割クラスタリングにおいては、正規化カット目的関数は、$ L_{\mathrm{sym}} $ の最初の $ K $ 個の固有ベクトルを用いた緩和されたスペクトル問題を解くことで最小化され、解は $ \mathbb{RP}^{K-1} $ に射影される。
• $ \mathbb{RP}^n $ 上の二点 $ [x] $ と $ [y] $ 間の距離は $ d([x],[y]) = \cos^{-1}(|x \cdot y|) $ で与えられ、この距離の最小化は $ a \in A $ における $ \min\{ \|x - a\|_2, \|x + a\|_2 \} $ の最小化に相当する。
• 集合 $ A \subseteq S^n $ が反対称写像に関して閉じている場合、$ \mathbb{RP}^n $ 上での測地線距離の最小化は、$ \mathbb{R}^{n+1} $ 上でのユークリッド距離の最小化に帰着され、クラスタリング最適化が簡素化される。
• 正規化カット目的関数は $ \mathbb{RP}^n $ 内の代表元の選択に依存せず、最適なクラスタリング解は離散カット問題の連続的緩和に相当する。離散解は、連続的固有ベクトル解を丸めることで得られる。