[論文レビュー] Incremental Method for Spectral Clustering of Increasing Orders

Pin‐Yu Chen, Baichuan Zhang+2 more|arXiv (Cornell University)|Dec 23, 2015

Advanced Clustering Algorithms Research参考文献 27被引用数 15

ひとこと要約

本稿では、バッチ固有値問題を逐次的主固有ペア計算に変換することで、グラフラプラシアン行列の連続する固有ペアを効率的に計算する、Incremental-IOという増分的で効率的な手法を提案する。この手法により、特にクラスタ数Kが増加する際、バッチ手法に比べて最大10倍の高速化が達成され、ユーザーがガイドするスペクトルクラスタリングが可能になる。

ABSTRACT

The smallest eigenvalues and the associated eigenvectors (i.e., eigenpairs) of a graph Laplacian matrix have been widely used for spectral clustering and community detection. However, in real-life applications the number of clusters or communities (say, $K$) is generally unknown a-priori. Consequently, the majority of the existing methods either choose $K$ heuristically or they repeat the clustering method with different choices of $K$ and accept the best clustering result. The first option, more often, yields suboptimal result, while the second option is computationally expensive. In this work, we propose an incremental method for constructing the eigenspectrum of the graph Laplacian matrix. This method leverages the eigenstructure of graph Laplacian matrix to obtain the $K$-th eigenpairs of the Laplacian matrix given a collection of all the $K-1$ smallest eigenpairs. Our proposed method adapts the Laplacian matrix such that the batch eigenvalue decomposition problem transforms into an efficient sequential leading eigenpair computation problem. As a practical application, we consider user-guided spectral clustering. Specifically, we demonstrate that users can utilize the proposed incremental method for effective eigenpair computation and determining the desired number of clusters based on multiple clustering metrics.

研究の動機と目的

• 事前にKが未知である場合に、スペクトルクラスタリングにおける最適なクラスタ数Kを特定する課題に対処すること。
• 増加するK値に対して繰り返しK番目の最小固有ベクトルを計算する計算コストを低減すること。
• 計算的に非現実的になる可能性がある固定の上限K_maxを設定しなくてもよい、堅牢で増分的な手法を開発すること。
• Kが増加するにつれて、クラスタリング指標と固有スペクトルを効率的に更新することで、インタラクティブでユーザーがガイドするスペクトルクラスタリングを可能にすること。
• 固有構造の適応による増分的計算が、バッチ法および改良Lanczos法に比べて、速度とスケーラビリティにおいて優れていることを実証すること。

提案手法

• 最初のK個の最小固有ペアから、(K+1)番目の最小固有ペアを逐次的に計算するために、グラフラプラシアンの固有構造を活用する。
• 事前に計算された固有ベクトルに基づいて、シフトおよびデフラット行列を構築することで、バッチ固有値分解を逐次的主固有ペア計算に変換する。
• パワー反復法（例：Lanczos法やArnoldi法）を変換された行列に適用し、次に小さい固有ペアを効率的に計算する。
• 対称性および半正定性といったグラフラプラシアンの特別な性質を活用することで、数値的安定性と正確性を維持する。
• 各Kにおけるクラスタリング指標（モジュラリティ、正規化カット、クラスタサイズ、スペクトルエネルギー）と固有スペクトルを更新する、ユーザーがガイドするスペクトルクラスタリングフレームワークに増分固有値ソルバを統合する。
• アルゴリズム1を実装し、ユーザーが再計算なしに複数の指標に基づいてKを選択できるインタラクティブなクラスタリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去に計算された固有スペクトルを活用することで、グラフラプラシアンの連続する固有ペアの計算をより効率化できるか？
• RQ2 バッチ固有値問題を主固有ペア問題の系列に変換することで、実際の応用において顕著な高速化が達成できるか？
• RQ3 Kが増加する際でも、堅牢かつスケーラブルな増分固有値ソルバを設計できるか？
• RQ4 提案手法の増分的計算は、バッチ計算および改良Lanczos法に基づく増分的アプローチと比較して、性能と正確性において優れているか？
• RQ5 増分的固有ペア計算は、動的K選択を可能にするインタラクティブでユーザーがガイドするスペクトルクラスタリングをどの程度サポートできるか？

主な発見

• Kが増加するにつれて、Incremental-IOはバッチ計算手法に比べて最大10倍の高速化を達成する。
• グラフサイズが増加するにつれて、Incremental-IOとバッチ手法の計算ギャップは指数関数的に拡大し、優れたスケーラビリティを示している。
• 高い正確性を維持しており、増分的に計算された固有ペアは、バッチ結果と強い一貫性を示しており、Minnesota Roadデータセットでも確認された。
• Incremental-IOを用いたユーザーがガイドするスペクトルクラスタリングにより、複数のK値の効率的探索が可能となり、モジュラリティ、正規化カット、クラスタサイズ、スペクトルエネルギーといったクラスタリング指標が逐次的に更新される。
• Minnesota Roadデータセットでは、K=7がモジュラリティが飽和し、スペクトルエネルギーが顕著に増加する安定した選択であると特定された。これは、良好なクラスタ分離性を示している。
• Power Grid、CLUTO、Swiss Roll、Youtube、BlogCatalogのデータセットでも、Incremental-IOが多様な実世界のグラフにおいて、さまざまなクラスタリング指標のトレンドを示しながら、効率的でインタラクティブなクラスタリングをサポートしていることが実験で確認された。