[論文レビュー] A Note on Spectral Clustering and SVD of Graph Data

Ziwei Zhang|arXiv (Cornell University)|Sep 27, 2018

Advanced Graph Neural Networks参考文献 5被引用数 4

ひとこと要約

本稿は、スペクトラルクラスタリングとSVDの間の明確な数学的関係を、グラフデータにおいて確立する。スペクトラルクラスタリングは、グラフ内での最も滑らかな信号基底を特定するが、正規化された隣接行列 A_rw のSVDは、滑らかでない成分を含む滑らかでない信号成分も捉える。主な洞察は、スペクトラルクラスタリングが A_rw の上位k個の特異値分解（SVD）に対応するのは、その上位k個の固有値がすべて正である場合に限られ、これは現実のグラフではめったに成立しない。このため、グラフ信号処理を通じた再解釈が不可欠となる。

ABSTRACT

Spectral clustering and Singular Value Decomposition (SVD) are both widely used technique for analyzing graph data. In this note, I will present their connections using simple linear algebra, aiming to provide some in-depth understanding for future research.

研究の動機と目的

• グラフデータにおけるスペクトラルクラスタリングとSVDの理論的関係を明確化すること。
• スペクトラルクラスタリングが、正規化された隣接行列 A_rw の最良の低ランク近似をSVDによって得るとする一般的な誤解を解消すること。
• A_rw の固有値の符号分布に依存して、スペクトラルクラスタリングとSVDの関係が決まることを示すこと。これは、通常、すべての固有値が正であるとは限らない。
• グラフ信号処理を通じてスペクトラルクラスタリングを再解釈し、グラフ信号の滑らかさと関連付けること。

提案手法

• 正規化されたラプラシアン行列 L_rw = I - D^(-1)A を導出し、それがグラフ上のランダムウォークと関連することを示す。
• Eckart-Youngの定理を適用し、上位k個のSVDが任意の行列についてFrobeniusノルムで最良の低ランク近似を提供することを示す。
• 定理1を用いて、上位k個のSVDと上位k個の固有値分解（絶対値の固有値の大きさでソート）を符号の違いを除き等価に結びつける。
• A_rw = D^(-1)A の固有値構造を分析し、L_rw の最小固有値が A_rw の最大正の固有値（1に近い）に対応し、L_rw の最大固有値が A_rw の最小負の固有値（-1に近い）に対応することを示す。
• スペクトラルクラスタリングを、L_rw の最小固有値に対応する最も滑らかな信号基底の選択として再解釈する。
• A_rw のSVDが、最も滑らかでない成分と最も滑らかな成分の両方の信号基底を捉えることを確立する。これは、A_rw の上位k個の固有値（絶対値）に対応する。

実験結果

リサーチクエスチョン

• RQ1 スペクトラルクラスタリングは、正規化された隣接行列 A_rw の最良のランク-k近似をSVDによって得るものか？
• RQ2 なぜ一般的に、スペクトラルクラスタリングが A_rw の上位k個のSVDに等しいと仮定することが誤りなのか？
• RQ3 A_rw の固有値がすべて正でない場合、スペクトラルクラスタリングとSVDの真の関係は何か？
• RQ4 A_rw と L_rw の固有値および固有ベクトルは、グラフ上の信号の滑らかさとどのように関係するか？
• RQ5 グラフ信号処理は、スペクトラルクラスタリングとSVDの関係をより正確に解釈できるか？

主な発見

• スペクトラルクラスタリングは、正規化ラプラシアン行列 L_rw の最小固有値に対応する固有ベクトルに由来し、これは最も滑らかなグラフ信号を表す。
• 正規化された隣接行列 A_rw の上位k個のSVDは、A_rw の上位k個の固有値の絶対値に基づくものであり、数値の大きさに基づくものではない。
• X_sc Λ_sc X_sc^T が A_rw の最良のランク-k近似であるという主張は、A_rw の上位k個の固有値がすべて正である場合にのみ成立する。これは現実のグラフではめったに満たされない。
• 現実のグラフでは、A_rw の固有値の約半数が正で、残りの半数が負であるため、単純なSVDの同値性は成立しない。
• L_rw の最小固有値は、A_rw の最大正の固有値（1に近い）に対応し、L_rw の最大固有値は、A_rw の最小負の固有値（-1に近い）に対応する。
• したがって、A_rw のSVDは滑らかでない成分を含む滑らかな成分の両方を捉えるが、スペクトラルクラスタリングは滑らかさの最も高い成分のみを捉える。