[論文レビュー] Compressive Spectral Clustering

Nicolas Tremblay, Gilles Puy+2 more|arXiv (Cornell University)|Feb 5, 2016

Complex Network Analysis Techniques参考文献 46被引用数 58

ひとこと要約

本稿では、計算コストを低減するためにグラフ信号処理を活用する、スペクトルクラスタリングの高速近似手法である圧縮スペクトルクラスタリング（CSC）を提案する。ランダム信号をグラフ上でフィルタリングし、O(k log k)個のノードのみをサンプリングすることで、数個のオーダーの速度向上を達成しつつ理論的な誤差バウンドを維持する。これにより、最大10^6ノードの大きなグラフに対しても効率的なクラスタリングが可能になる。

ABSTRACT

Spectral clustering has become a popular technique due to its high performance in many contexts. It comprises three main steps: create a similarity graph between N objects to cluster, compute the first k eigenvectors of its Laplacian matrix to define a feature vector for each object, and run k-means on these features to separate objects into k classes. Each of these three steps becomes computationally intensive for large N and/or k. We propose to speed up the last two steps based on recent results in the emerging field of graph signal processing: graph filtering of random signals, and random sampling of bandlimited graph signals. We prove that our method, with a gain in computation time that can reach several orders of magnitude, is in fact an approximation of spectral clustering, for which we are able to control the error. We test the performance of our method on artificial and real-world network data.

研究の動機と目的

• 大規模グラフにおけるスペクトルクラスタリングの計算ボトルネック、特に固有値分解とk-means手順を解消すること。
• 実行時間の大幅な短縮を実現しながらも高いクラスタリング精度を維持するスケーラブルなスペクトルクラスタリングの代替手法を開発すること。
• 近年のグラフ信号処理の進展を活用し、明示的な計算なしに固有ベクトルを近似すること。
• バンドリミテッド信号サンプリング理論を用いて、少数のノードのみをサンプリングすることで正確なクラスタリングを実現すること。
• 提案手法の近似誤差に関する理論的保証を提供すること

提案手法

• グラフラプラシアン上でO(log k)個のランダムなガウス信号をグラフフィルタリングし、固有ベクトルを計算せずに近似スペクトル特徴ベクトルを生成する。
• バンドリミテッドグラフ信号の理論を応用し、グラフからO(k log k)個のノードのみをサンプリングすることで、k-meansの計算をO(Nk²)からO(k² log²k)に削減する。
• サンプリングされたノードを用いて、圧縮された特徴ベクトル上でk-meansを実行してクラスタリングする。
• グラフ構造とバンドリミテッド信号の性質に基づく再構成法を用いて、すべてのNノードにクラスタラベルを補間する。
• 圧縮された特徴ベクトルと真のスペクトル埋め込みとの間のずれに関する理論的バウンドを用いて、近似誤差を制御する。
• 非理想的なグラフフィルターやサンプリングの影響がクラスタリング性能に与える影響を分析することで、ロバスト性を確保する

実験結果

リサーチクエスチョン

• RQ1 明示的な固有値分解なしに、グラフラプラシアンの最初のk個の固有ベクトルをランダムなグラフフィルタリングで効率的に近似できるか？
• RQ2 大規模グラフからO(k log k)個のノードのみをサンプリングし、圧縮特徴上でk-meansを適用することで、正確なクラスタラベルを回復できるか？
• RQ3 圧縮クラスタリングの結果と正確なスペクトルクラスタリング解との間の理論的誤差バウンドは何か？
• RQ4 グラフサイズNとクラスタ数kの増加に伴い、圧縮手法の性能はどのようにスケーリングするか？
• RQ5 顕著な次元削減が行われても、合成ネットワークと実世界のネットワークの両方で、高いクラスタリング精度を維持できるか？

主な発見

• 提案された圧縮スペクトルクラスタリング（CSC）手法により、k-meansの計算複雑度がO(Nk²)からO(k² log²k)に低下し、最大N = 10^6ノードのグラフへのスケーラビリティが実現された。
• 標準的なスペクトルクラスタリングと比較して、数個のオーダーの速度向上を達成しながらも、クラスタリング精度を維持した。
• 理論的分析により、近似誤差がバウンドされ、制御可能であることが示された。誤差はフィルタ応答とサンプリング密度に依存する。
• 同質でないコミュニティサイズを有する合成のスチュアティックブロックモデル（SBM）および実世界のネットワークデータの両方で、良好な性能を示した。
• 実験的結果により、サンプリングサイズn、フィルタ数d、信号対雑音比pといったさまざまなパラメータに対して安定した性能が確認され、一貫した回復率が得られた。
• 非理想的なグラフフィルターに対してもロバストであり、正確な固有値分解ではなくフィルタリングによる近似特徴ベクトルでも、性能を維持した。