[論文レビュー] Eigenvectors for clustering: Unipartite, bipartite, and directed graph cases

Andri Mirzal, Masashi Furukawa|arXiv (Cornell University)|May 14, 2010

Complex Network Analysis Techniques参考文献 16被引用数 4

ひとこと要約

本論文は、非対称な類似度行列へのトレース最大化問題への還元を通じて、単一部、二部、および有向グラフにおけるスペクトルクラスタリングを統一的に理論的枠組みで扱う。二部グラフにおけるK準拠クラスタリングは、データ行列の左および右特異ベクトルによって解かれることが示され、Ky Fanの定理が長方形複素行列へ一般化され、スペクトル準拠クラスタリングおよび有向グラフクラスタリングアルゴリズムの理論的基盤を提供する。

ABSTRACT

This paper presents a concise tutorial on spectral clustering for broad spectrum graphs which include unipartite (undirected) graph, bipartite graph, and directed graph. We show how to transform bipartite graph and directed graph into corresponding unipartite graph, therefore allowing a unified treatment to all cases. In bipartite graph, we show that the relaxed solution to the $K$-way co-clustering can be found by computing the left and right eigenvectors of the data matrix. This gives a theoretical basis for $K$-way spectral co-clustering algorithms proposed in the literatures. We also show that solving row and column co-clustering is equivalent to solving row and column clustering separately, thus giving a theoretical support for the claim: ``column clustering implies row clustering and vice versa''. And in the last part, we generalize the Ky Fan theorem---which is the central theorem for explaining spectral clustering---to rectangular complex matrix motivated by the results from bipartite graph analysis.

研究の動機と目的

• 単一部、二部、および有向グラフにおけるスペクトルクラスタリングを統一的に理論的説明すること。
• 二部グラフにおけるK準拠クラスタリングが、データ行列の左および右固有ベクトルを用いて解けることを示すこと。
• 行と列の同時クラスタリングが、それらを別々に解くことと等価であることを証明し、「列クラスタリングは行クラスタリングを意味し、逆も同様である」という主張を裏付けること。
• SVDを用いてKy Fanの定理を長方形複素行列へ一般化し、二部グラフおよび有向グラフ設定への適用可能性を拡張すること。
• トレース最大化と行列分解を用いて、既存のスペクトル準拠クラスタリングおよび有向グラフクラスタリングアルゴリズムの理論的基盤を提供すること。

提案手法

• 二部および有向グラフを対称類似度行列に変換し、統一的なスペクトルクラスタリング処理を可能にする。
• 二部準拠クラスタリングにおいて、データ行列が長方形である場合に、特異値分解（SVD）を用いて左および右特異ベクトルを計算する。
• K準拠クラスタリングを、ユニタリ行列上でのトレース最大化問題として定式化し、最適解を得るためにKy Fanの定理を活用する。
• Eckart-Youngの定理の証明をSVDに基づいて拡張することで、Ky Fanの定理を長方形複素行列へ一般化し、その結果を補題として示す。
• 有向グラフ類似度行列に対して、行列とその転置行列を加算することで対称変換を施し、方向性情報を対称形式で保持する。
• 主な左および右特異ベクトルからクラスタリングインジケータ行列を導出し、行と列の同時クラスタリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、共通の数学的枠組みを通じて、単一部、二部、および有向グラフにおけるスペクトルクラスタリングを一様に適用できるか？
• RQ2 二部データ行列において行と列を同時にクラスタリングするスペクトル準拠クラスタリングアルゴリズムの理論的根拠は何か？
• RQ3 なぜ二部グラフにおいて、行クラスタリングと列クラスタリングを別々に解くことと、同時に解くことが等価となるのか？
• RQ4 Ky Fanの定理はどのようにして長方形複素行列へ一般化され、二部および有向設定におけるスペクトルクラスタリングを支援するか？
• RQ5 SVDおよび行列分解は、非正方データ行列に対する最適クラスタリング解を導出する上で、果たす役割は何か？

主な発見

• 二部グラフにおけるK準拠クラスタリングは、データ行列の最初のK個の左および右特異ベクトルを計算することで最適に解かれる。これにより、スペクトル準拠クラスタリングアルゴリズムの理論的裏付けが得られる。
• 行と列の同時クラスタリングは、それらを別々に解くことと等価である。これにより、「列クラスタリングは行クラスタリングを意味し、逆も同様である」という主張が裏付けられる。
• SVDを用いてKy Fanの定理が長方形複素行列へ一般化され、非正方および有向グラフ設定におけるスペクトルクラスタリングの理論的基盤が確立される。
• 有向グラフ類似度行列に対して、行列とその転置行列を加算することで対称変換を施すことで、方向性情報を保持しつつ、標準的なスペクトルクラスタリング手法を適用可能にする。
• 提案されたフレームワークにより、3種類のグラフタイプにおけるスペクトルクラスタリングがすべて、対称行列上でのトレース最大化問題に還元され、統一的なアルゴリズム的取り扱いが可能になる。
• SVDに基づく解法がEckart-Youngの定理の系として示され、このアプローチの数学的整合性が強化される。