[論文レビュー] Fast Eigenspace Approximation using Random Signals

Johan Paratte, Lionel Martin|arXiv (Cornell University)|Nov 3, 2016

Complex Network Analysis Techniques参考文献 3被引用数 14

ひとこと要約

本稿では、グラフラプラシアンの最初の $k$ 固有ベクトルを、ラプラシアン行列を通過させるだけの $k$ 個のガウスノイズ信号を用いて高速に近似する手法を提案する。$k$ 個の信号で最小の $k$ 個の固有ベクトルの正確な回復が可能であることを証明し、固有空間近似および $k$ 番目の固有値推定のための効率的アルゴリズムを導入。$N$ に対して線形スケーリングで、ほぼ完全な再構成が達成される。

ABSTRACT

We focus in this work on the estimation of the first $k$ eigenvectors of any graph Laplacian using filtering of Gaussian random signals. We prove that we only need $k$ such signals to be able to exactly recover as many of the smallest eigenvectors, regardless of the number of nodes in the graph. In addition, we address key issues in implementing the theoretical concepts in practice using accurate approximated methods. We also propose fast algorithms both for eigenspace approximation and for the determination of the $k$th smallest eigenvalue $λ_k$. The latter proves to be extremely efficient under the assumption of locally uniform distribution of the eigenvalue over the spectrum. Finally, we present experiments which show the validity of our method in practice and compare it to state-of-the-art methods for clustering and visualization both on synthetic small-scale datasets and larger real-world problems of millions of nodes. We show that our method allows a better scaling with the number of nodes than all previous methods while achieving an almost perfect reconstruction of the eigenspace formed by the first $k$ eigenvectors.

研究の動機と目的

• データ解析タスクにおける大規模グラフラプラシアンの正確な固有値分解の高コストを解決すること。
• 高価な SVD や反復固有値ソルバーを回避する、スケーラブルなスペクトルクラスタリングおよび次元削減の代替手法を開発すること。
• 最小限のランダム信号フィルタリングを用いて、固有空間の高精度な低ランク近似を可能にすること。
• 局所的に一様な固有値分布の下で、$k$ 番目の最小固有値 $λ_k$ を効率的に推定するアルゴリズムを設計すること。
• ノード数 $N$ に対して線形にスケーリングしながら、ほぼ完全な固有空間再構成を達成すること。

提案手法

• グラフラプラシアン行列 $\mathcal{L}$ を通して $k$ 個の i.i.d. ガウスノイズ信号をフィルタリングし、行列のべき乗または多項式フィルタを用いる。
• 低ランク SVD を用いてフィルタリングされた信号を固有空間に射影し、$k$ 個の信号で最初の $k$ 個の固有ベクトルを正確に回復する。
• 直交変換におけるガウス分布の不変性を活用し、変換の前後で統計的性質が保たれることを活用する。
• 固有値の分布をフィルタリング信号スペクトルで分析することで、eigencount手法を用いて $\lambda_k$ を効率的に推定する。
• 数値的安定性と効率性を向上させるために、理想のローパスフィルタを多項式または指数的減衰カーネルで近似する。
• 完全な行列対角化を回避する高速でシングルスレッドのアルゴリズムを実装し、計算量を $\mathcal{O}(k^2N)$ に低減する。

実験結果

リサーチクエスチョン

• RQ1 $k$ 個のガウスノイズ信号で、グラフラプラシアンの最初の $k$ 個の最小固有ベクトルを正確に回復できるか？
• RQ2 完全な固有値分解なしで、$k$ 番目の最小固有値 $\lambda_k$ をどのように効率的に推定できるか？
• RQ3 収束が保証される高精度な固有空間近似を達成するために、必要な最小のランダム信号数は何か？
• RQ4 標準的なフィルタリングと比較して、多項式または滑らかなカーネルフィルタは、固有空間回復の効率性と安定性を向上させられるか？
• RQ5 t-SNE や LargeVis と比較して、数百万ノードを有する大規模グラフ上での実用的スケーリングはどのようになるか？

主な発見

• 本手法は、グラフサイズ $N$ にかかわらず、$k$ 個のガウスノイズ信号のみで最初の $k$ 個の固有ベクトルを正確に回復できる。
• 計算量は $\mathcal{O}(k^2N)$ で $N$ に対して線形スケーリングを達成し、標準的な SVD や反復手法を著しく上回る。
• MNIST データセットでは、2次元埋め込みを 0.06 時間で計算したのに対し、t-SNE は 0.46 時間、LargeVis は 0.26 時間を要した。
• LiveJournal（180万ノード）では、本手法は 78.79 時間で完了したが、ラプラシアン固有空間法は 128 GB のメモリを超過し、処理を完了できなかった。
• t-SNE よりも1桁速く、可視化品質に劣るものの LargeVis よりも高速に動作する。
• 局所的に一様な固有値分布の仮定の下で、提案された固有値推定アルゴリズムは非常に効率的であり、$\lambda_k$ の迅速な検出を可能にする。