[論文レビュー] Robust and efficient multi-way spectral clustering

Anil Damle, Victor Minden+1 more|arXiv (Cornell University)|Sep 27, 2016

Complex Network Analysis Techniques参考文献 35被引用数 14

ひとこと要約

本稿では、固有ベクトル行列の列ピボット付きQR分解に基づく、反復的初期化（k-means++に類似）を不要とする、頑健で効率的な多様なスペクトルクラスタリングアルゴリズムを提案する。ストークスティックブロックモデル（SBM）において近似的に最適な回復を達成し、特にマルチウェイカット指標の最小化においてk-means++を上回るクラスタリング品質を示す。グラフサイズに線形にスケーリングされ、大規模問題に対して確率的高速化が可能である。

ABSTRACT

We present a new algorithm for spectral clustering based on a column-pivoted QR factorization that may be directly used for cluster assignment or to provide an initial guess for k-means. Our algorithm is simple to implement, direct, and requires no initial guess. Furthermore, it scales linearly in the number of nodes of the graph and a randomized variant provides significant computational gains. Provided the subspace spanned by the eigenvectors used for clustering contains a basis that resembles the set of indicator vectors on the clusters, we prove that both our deterministic and randomized algorithms recover a basis close to the indicators in Frobenius norm. We also experimentally demonstrate that the performance of our algorithm tracks recent information theoretic bounds for exact recovery in the stochastic block model. Finally, we explore the performance of our algorithm when applied to a real world graph.

研究の動機と目的

• k-means++の初期化に依存しない、直接的で反復的でないスペクトルクラスタリングアルゴリズムの開発。k-means++は局所最適解に敏感であるため、これを回避する。
• 特に正確なクラスタリングを想定した状況下で、情報理論的限界に近い理論的回復保証を達成すること。
• k-means++の代替として、大規模グラフにおいてスケーラブルで効率的な手法を提供すること。確率的変種により、顕著な計算上の利点を実現する。
• 提案手法がk-means++よりも低いマルチウェイカット指標を達成することを示し、同時にk-meansの初期化戦略としても有効であることを示すこと。
• アルゴリズムの性能と固有ベクトル埋め込み内の幾何的構造との間の理論的・実験的関係を確立すること。

提案手法

• グラフラプラシアンまたは隣接行列の上位 $ k $ 個の固有ベクトルを含む行列 $ V_k $ の転置 $ V_k^T $ に対して、列ピボット付きQR（CPQR）分解を適用する。
• CPQRプロセスにより、固有空間の良好な条件数を持つ $ k $ 個の列が特定され、真のクラスタの指標ベクトルを近似する。
• 得られたクラスタ割り当ては、QR分解の順列およびピボット構造から直接導出され、反復的最適化を回避する。
• アルゴリズムの確率的変種は、列のサブサンプリングを用いて計算を高速化し、グラフサイズに対して線形スケーリングを達成しつつ高い正確性を維持する。
• 本アルゴリズムは、単独のクラスタリング手法として、またはk-meansの初期化戦略として使用可能であり、より良い局所最適解への収束を促進する。
• 理論的分析により、固有空間にクラスタ指標ベクトルに近い基底が含まれる場合、本アルゴリズムはFrobeniusノルムにおいて指標ベクトルに近い基底を回復することが示された。

実験結果

リサーチクエスチョン

• RQ1 列ピボット付きQR分解に基づく直接的・反復的でない手法が、スペクトルクラスタリングにおいてk-means++と同等またはそれ以上の性能を達成できるか。
• RQ2 提案手法が、特に正確回復の領域において、ストークスティックブロックモデル（SBM）で情報理論的限界に近い回復を達成できるか。
• RQ3 合成および実世界のグラフにおいて、マルチウェイカット指標の観点から、CPQRベースの手法とk-means++の性能を比較するとどうなるか。
• RQ4 アルゴリズムの確率的変種は、大規模グラフにおいて高い正確性を維持しながら、線形計算スケーリングを達成できるか。
• RQ5 CPQRベースのクラスタリングがk-meansの初期化としてどれほど効果的か。特に、より良い局所最適解への収束を促進できるか。

主な発見

• 決定的CPQRベースのアルゴリズムは、290個の連結成分を有するグラフにおける10ウェイクラスタリングで、マルチウェイカット指標がゼロを達成した。一方、k-means++は50回の試行のうちゼロに到達しなかった。
• 実世界グラフの最大連結成分における6ウェイクラスタリングにおいて、CPQRベースの手法はマルチウェイカット指標1.92を達成し、k-means++をこの指標において上回った。ただし、k-means目的関数は2.52（k-means++は0.76）とやや高かった。
• CPQR出力を初期化として使用したk-meansは、k-means目的関数0.76、マルチウェイカット1.86を達成し、k-means++単独で50回の試行で得られた最良の結果と一致した。
• アルゴリズムの確率的変種は、顕著な計算高速化を実現しながらも高いクラスタリング正確性を維持しており、大規模グラフへのスケーラビリティを可能にした。
• 理論的分析により、固有空間にクラスタ指標ベクトルに類似した基底が含まれる条件の下で、本アルゴリズムはFrobeniusノルムにおいて指標ベクトルに近い基底を回復することが証明された。
• 本アルゴリズムは、SBMにおける正確回復の最近の情報理論的境界を追跡しており、理論的および実験的両面で最適性能限界と強い整合性を示した。