[論文レビュー] Clustering of graph vertex subset via Krylov subspace model reduction.

Vladimir Druskin, A. Mamonov+1 more|arXiv (Cornell University)|Sep 9, 2018

Model Reduction and Neural Networks被引用数 1

ひとこと要約

本稿では、グラフ頂点の標本部分集合に対する効率的なスペクトルクラスタリングのため、2つのKrylov部分空間に基づくモデル還元アルゴリズムを提案する。ターゲット部分集合に制限されたグラフラプラシアンの拡散転送関数を近似する低次元モデルを構築することで、Krylov部分空間の次元を低減し、高度なk-means近似を用いたロバストでスケーラブルなクラスタリングを可能にし、著しく低い計算コストで一貫性のあるクラスタリング結果を達成する。

ABSTRACT

Clustering via graph-Laplacian spectral imbedding is ubiquitous in data science and machine learning. However, it becomes less efficient for large data sets due to two factors. First, computing the partial eigendecomposition of the graph-Laplacian typically requires a large Krylov subspace. Second, after the spectral imbedding is complete, the clustering is typically performed with various relaxations of k-means, which may become prone to getting stuck in local minima and scale poorly in terms of computational cost for large data sets. Here we propose two novel algorithms for spectral clustering of a subset of the graph vertices (target subset) based on the theory of model order reduction. They rely on realizations of a reduced order model (ROM) that accurately approximates the diffusion transfer function of the original graph for inputs and outputs restricted to the target subset. While our focus is limited to this subset, our algorithms produce its clustering that is consistent with the overall structure of the graph. Moreover, working with a small target subset reduces greatly the required dimension of Krylov subspace and allows to exploit the approximations of k-means in the regimes when they are most robust and efficient, as verified by the numerical experiments. There are several uses for our algorithms. First, they can be employed on their own to clusterize a representative subset in cases when the full graph clustering is either infeasible or not required. Second, they may be used for quality control. Third, as they drastically reduce the problem size, they enable the application of more powerful approximations of k-means like those based on semi-definite programming (SDP) instead of the conventional Lloyd's algorithm. Finally, they can be used as building blocks of a divide-and-conquer algorithm for the full graph clustering. The latter will be reported in a separate article.

研究の動機と目的

• 大規模グラフにおけるスペクトルクラスタリングの計算非効率性を、高次元のKrylov部分空間の必要性に起因するものとして解決すること。
• 全グラフではなく、ターゲット頂点部分集合に限定することで、クラスタリングの計算負荷を低減すること。
• 半正定値計画法に基づくような、より正確でロバストなk-means近似（例：SDPベース）を、問題サイズの著しい低減により、全グラフでは計算不能であった状況でも可能にすること。
• 品質管理をサポートするフレームワークを構築し、全グラフクラスタリングの分割統治アルゴリズムにおけるコンponentsとして利用可能にする。

提案手法

• ターゲット頂点部分集合に制限された拡散転送関数を正確に近似するグラフラプラシアンの低次元モデル（ROM）を構築する。
• Krylov部分空間法を用いて、ターゲット部分集合に関連するスペクトル特性を保持するグラフラプラシアンの低次元射影を生成する。
• ROMを用いたスペクトル埋め込みにより、ターゲット頂点を低次元空間にマップし、そこでクラスタリングを実行する。
• 次元の低減により、全グラフでは計算不能であった高度なk-means近似（例：SDPベース）を適用可能にする。
• ROMの定式化により、ターゲット部分集合と残りのグラフとの間の拡散ダイナミクスを保持することで、グローバルなグラフ構造と一貫性を確保する。
• ROMの精度を活用することで、問題サイズの低減にもかかわらずクラスタリングの品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間法によるモデル還元は、グラフ頂点の部分集合に対するスペクトルクラスタリングに有効に適用可能か？
• RQ2 低次元モデルは、ターゲット部分集合の正確なクラスタリングに必要なスペクトル構造を保持しているか？
• RQ3 提案手法により、クラスタリング忠実度を維持したまま、Krylov部分空間の次元を顕著に低減できるか？
• RQ4 問題サイズの低減により、どの程度高度なk-means近似が適用可能になるか？
• RQ5 大規模グラフにおける標準的スペクトルクラスタリングと比較して、提案手法の効率性と正確性はどの程度か？

主な発見

• 提案アルゴリズムは、ターゲット頂点部分集合に限定することで、Krylov部分空間の次元を顕著に低減し、計算コストを削減する。
• 低次元モデルは、グローバルなグラフ構造と一貫性のあるクラスタリング結果を生成するのに十分な精度を維持する。
• 問題サイズの縮小により、半正定値計画法に基づくようなよりロバストなk-means近似が可能となり、大規模グラフでは元来計算不能であった。
• 数値実験により、本手法が効率的かつ正確であることが確認され、特にk-means緩和法が最も効果を発揮する領域で顕著である。
• 本手法は実用的応用（例：品質管理）をサポートでき、全グラフクラスタリングのための分割統治戦略への統合も可能である。