[論文レビュー] Spectral Clustering via the Power Method -- Provably

Christos Boutsidis, Alex Gittens+1 more|arXiv (Cornell University)|Nov 12, 2013

Graph theory and applications参考文献 44被引用数 7

ひとこと要約

この論文は、正規化ラプラシアン行列の上位固有ベクトルを近似するためにパワー法を用いることでスペクトルクラスタリングを高速化するという手法について、初めての厳密な理論的裏付けを提供する。k-meansをパワー法で近似された固有ベクトルに適用することで、最適クラスタリングに対する加法的誤差近似が得られることを証明しており、実験結果では計算時間が著しく短縮されたにもかかわらず、ほぼ最適またはそれ以上の性能を示している。

ABSTRACT

Spectral clustering is one of the most important algorithms in data mining and machine intelligence; however, its computational complexity limits its application to truly large scale data analysis. The computational bottleneck in spectral clustering is computing a few of the top eigenvectors of the (normalized) Laplacian matrix corresponding to the graph representing the data to be clustered. One way to speed up the computation of these eigenvectors is to use the "power method" from the numerical linear algebra literature. Although the power method has been empirically used to speed up spectral clustering, the theory behind this approach, to the best of our knowledge, remains unexplored. This paper provides the \emph{first} such rigorous theoretical justification, arguing that a small number of power iterations suffices to obtain near-optimal partitionings using the approximate eigenvectors. Specifically, we prove that solving the $k$-means clustering problem on the approximate eigenvectors obtained via the power method gives an additive-error approximation to solving the $k$-means problem on the optimal eigenvectors.

研究の動機と目的

• スペクトルクラスタリングを高速化するためのパワー法の使用に理論的基盤を提供すること。これは、固有ベクトルの計算が計算コストが高いため、もともとは計算的に高価である。
• パワー法による近似固有ベクトルが、正確な固有ベクトルと同等のクラスタリング品質を達成できることを確立すること。
• 近似固有ベクトルに対するk-meansステップが、最適クラスタリング目的関数に対する加法的誤差近似に相当することを示すこと。
• 実世界のデータセットを用いた実験的検証により、速度向上と競争力のある、あるいは改善されたクラスタリング精度を示すこと。

提案手法

• この手法は、計算コストの高いSVD計算に代えて、正規化ラプラシアン行列の上位k個の固有ベクトルを近似するためにパワー反復法を用いる。
• エッジ重みがペアワイズ点類似度を反映するように、自己調整帯域幅を用いたヒートカーネルを用いて類似度グラフを構築する。
• 類似度行列から導出される縦長の行列Bを用い、行列B'Bに対するパワー反復を適用することで、効率的な近似スペクトル埋め込みを計算する。
• 得られた近似固有ベクトルに対してk-meansクラスタリングステップを適用し、最終的なクラスタ割り当てを取得する。
• 理論的分析により、クラスタリング誤差が固有ベクトルの近似誤差の加法的関数として上限付けられ、近似的に最適性が保証される。
• 実験的評価では、複数のデータセットにおいて正規化相互情報量（NMI）と実行時間を用いて、正確なアルゴリズムと近似アルゴリズムを比較した。

実験結果

リサーチクエスチョン

• RQ1 パワー法は、スペクトルクラスタリングにおいて正確な固有ベクトルと同等のクラスタリング品質を達成する固有ベクトルを生成するか？
• RQ2 パワー法で近似された固有ベクトルに対するk-means目的関数は、最適解に対する加法的誤差で抑えられるか？
• RQ3 パワー反復の回数は、クラスタリング精度と計算効率のトレードオフにどのように影響するか？
• RQ4 よりタイトな時間予算内で、近似アルゴリズムが正確なアルゴリズムを上回るクラスタリング性能を達成できるか？
• RQ5 標準的な距離ベースのクラスタリングでは分離できないデータ構造に対しても、パワー法の近似は有効か？

主な発見

• Vehicleデータセットでは、p=6のとき、近似アルゴリズムがNMI=0.2449を達成し、正確なアルゴリズムのNMI=0.1655を上回り、かつより高速に実行された。
• SatImageデータセットでは、p=6のとき、近似アルゴリズムがNMI=0.6007を達成し、正確なアルゴリズムのNMI=0.5905を上回り、2.5倍の高速化を達成した。
• p=2のパワー反復でさえ、4つのデータセットのうち3つ（SatImage、Vehicle、Vowel）で正確なアルゴリズムと同等またはそれ以上のNMIを達成した。
• 近似アルゴリズムの実行時間は、パワー反復回数に比例して線形に増加し、期待どおりの傾向を示した。また、異なるデータセット間での比較のため、p=0を基準として正規化された。
• 時間制限内では、近似アルゴリズムが常に正確なアルゴリズムと同等または優れたNMIを達成しており、その効率性と有効性が示された。
• Segmentデータセットは唯一の例外であり、p=2では性能が低かった。これは、データ構造やパrameter設定に敏感である可能性を示唆している。