[論文レビュー] Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification

Yongyu Wang, Zhuo Feng|arXiv (Cornell University)|Oct 12, 2017

Blind Source Separation Techniques参考文献 1被引用数 6

ひとこと要約

本稿では、元の近隣グラフ（NN）グラフの主要な固有値および固有ベクトルを保持する超疎で木構造のサブグラフを構築する二段階のスペクトルスパース化フレームワークを提案する。これにより、スケーラビリティと精度に優れたスペクトルクラスタリングが可能になる。ほぼ線形時間のスペクトルグラフトポロジーのスパース化と、確率的勾配降下法（SGD）を用いたエッジ重みスケーリングを組み合わせることで、Covtypeデータセットで最大9,703倍の高速化（9.43秒対91,504秒）を達成したが、クラスタリング精度は維持または向上させた。

ABSTRACT

The eigendeomposition of nearest-neighbor (NN) graph Laplacian matrices is the main computational bottleneck in spectral clustering. In this work, we introduce a highly-scalable, spectrum-preserving graph sparsification algorithm that enables to build ultra-sparse NN (u-NN) graphs with guaranteed preservation of the original graph spectrums, such as the first few eigenvectors of the original graph Laplacian. Our approach can immediately lead to scalable spectral clustering of large data networks without sacrificing solution quality. The proposed method starts from constructing low-stretch spanning trees (LSSTs) from the original graphs, which is followed by iteratively recovering small portions of "spectrally critical" off-tree edges to the LSSTs by leveraging a spectral off-tree embedding scheme. To determine the suitable amount of off-tree edges to be recovered to the LSSTs, an eigenvalue stability checking scheme is proposed, which enables to robustly preserve the first few Laplacian eigenvectors within the sparsified graph. Additionally, an incremental graph densification scheme is proposed for identifying extra edges that have been missing in the original NN graphs but can still play important roles in spectral clustering tasks. Our experimental results for a variety of well-known data sets show that the proposed method can dramatically reduce the complexity of NN graphs, leading to significant speedups in spectral clustering.

研究の動機と目的

• 大規模な近隣グラフ（NN）グラフにおける固有値分解の計算コストの高い処理が引き起こす計算ボトルネックを解消すること。
• 元のグラフラプラシアンの重要なスペクトル特性（固有値および固有ベクトル）を、超疎なサブグラフに保持するスケーラブルな手法を開発すること。
• 元のNNグラフのほぼ線形サイズの代理サブグラフを構築することで、大規模データセット上での高速かつ高精度なスペクトルクラスタリングを可能にすること。
• スペクトル保存の保証がない既存の近似手法が、しばしばクラスタリング精度を低下させることを克服すること。

提案手法

• スペクトル的に重要なエッジを特定・保持するほぼ線形時間のスペクトルグラフトポロジーのスパース化手法を適用し、木構造のサブグラフを形成する。
• 確率的勾配降下法（SGD）を用いた新しい反復的エッジ重みスケーリングフェーズを採用し、スパース化されたサブグラフ内のエッジ重みを最適化する。
• 二段階のフレームワークを構築する：第一に、グラフサイズを縮小しながらスペクトル構造を保持するトポロジーのスパース化；第二に、スペクトル類似度を最適化するエッジスケーリング。
• スペクトルグラフスパース化の理論的進展を活用し、得られるサブグラフが元のラプラシアンの最初の数個の最小固有値および固有ベクトルを保持することを保証する。
• スパニングツリーを基本構造とし、制御された数のツリー外エッジ（予算bで制限）を追加してスペクトル忠実度を向上させる。
• SGDによるサブグラフスケーリングを統合し、反復的にエッジ重みを調整することで、元のグラフとスパース化されたラプラシアンのスペクトル差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 ほぼ線形時間のスペクトルスパース化手法は、グラフサイズを著しく削減しながらも、元のグラフラプラシアンの主要な固有値および固有ベクトルを保持できるか？
• RQ2 提案された二段階フレームワーク（トポロジーのスパース化に続くエッジ重みスケーリング）は、既存の近似手法と比較して優れたクラスタリング精度を達成できるか？
• RQ3 超疎で木構造のサブグラフは、精度を損なわずに大規模NNグラフの有効な代理として機能できるか、その程度はどの程度か？
• RQ4 追加されるツリー外エッジの数（予算b）は、スパース化されたグラフにおける下位固有値の安定性および精度にどのように影響するか？

主な発見

• 581,012件のインスタンスを有するCovtypeデータセットにおいて、提案手法は元のスペクトルクラスタリングと比較して9,703倍の高速化（9.43秒対91,504秒）を達成したが、クラスタリング精度に損なわれることなく、同等の精度を維持した。
• MNISTデータセットでは3,571倍の高速化を達成したが、元の手法と同等またはわずかに向上したクラスタリング精度を維持した。
• スペクトル的にスパース化されたグラフを用いたクラスタリング精度は、ほとんどのデータセットで元のグラフを上回った。これは、スパース化がノイズや不自然なエッジを除去したことを示している。
• Covtypeデータセットでは、わずか0.01|V|のツリー外エッジを追加するだけで、ピークのクラスタリング精度に到達した。これは、スパース化の高い効率性を示している。
• エッジスケーリングフェーズは性能向上に顕著な効果を示した。スケーリングなしのサブグラフは、はるかに多くのツリー外エッジを含んでも、スケーリング付きのエッジ重みで達成された精度に到達できなかった。
• 下位固有値の変動比は、ツリー外エッジを追加するに従って低下し、スペクトルの安定性が向上したことが確認された。これは、本手法の理論的基盤が妥当であることを裏付けた。