[論文レビュー] Compressive spectral embedding: sidestepping the SVD

Dinesh Ramasamy, Upamanyu Madhow|arXiv (Cornell University)|Sep 28, 2015

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

この論文は、計算コストの高い部分SVDを回避するためにランダム射影とスペクトル関数の低次の多項式近似を用いる、低複雑性の圧縮スペクトル埋め込み手法を提案する。この手法は、特異ベクトルの数に依存しない $ O((\tau + m + n)/\log(m+n)) $ の時間計算量と $ O(\log(m+n)) $ の埋め込み次元を達成し、実世界のグラフにおいてクラスタリング品質と速度の両面で標準的なSVDベースの埋め込みを上回る性能を発揮する。

ABSTRACT

Spectral embedding based on the Singular Value Decomposition (SVD) is a widely used "preprocessing" step in many learning tasks, typically leading to dimensionality reduction by projecting onto a number of dominant singular vectors and rescaling the coordinate axes (by a predefined function of the singular value). However, the number of such vectors required to capture problem structure grows with problem size, and even partial SVD computation becomes a bottleneck. In this paper, we propose a low-complexity it compressive spectral embedding algorithm, which employs random projections and finite order polynomial expansions to compute approximations to SVD-based embedding. For an m times n matrix with T non-zeros, its time complexity is O((T+m+n)log(m+n)), and the embedding dimension is O(log(m+n)), both of which are independent of the number of singular vectors whose effect we wish to capture. To the best of our knowledge, this is the first work to circumvent this dependence on the number of singular vectors for general SVD-based embeddings. The key to sidestepping the SVD is the observation that, for downstream inference tasks such as clustering and classification, we are only interested in using the resulting embedding to evaluate pairwise similarity metrics derived from the euclidean norm, rather than capturing the effect of the underlying matrix on arbitrary vectors as a partial SVD tries to do. Our numerical results on network datasets demonstrate the efficacy of the proposed method, and motivate further exploration of its application to large-scale inference tasks.

研究の動機と目的

• 大規模な行列における部分SVDのスケーラビリティのボトルネックを解消すること。
• 次元削減における計算複雑性を低減しつつ、下流タスクで用いられるペairwise類似度メトリクスを保持すること。
• 明示的なSVD計算を避けながら、多数の主要な特異ベクトルを低次元空間に効率的に埋め込むこと。
• 標準的な部分SVDよりも多くの構造的情報を捉えることで、大規模データセットにおけるクラスタリングおよび分類性能を向上させること。
• 特異ベクトルの数に依存しないスケーラブルで、証明可能な正確性を備えた低複雑性のSVDベース埋め込みの代替手段を提供すること。

提案手法

• 行列の特異値 $ \sigma $ におけるスペクトル関数 $ f(\sigma) $ を低次の多項式 $ p_L(\sigma) $ で近似し、行列-ベクトル積による反復的計算を可能にする。
• ジョンソン＝リンデンストラウスの補題を活用して、$ \ell_2 $-ベースのペアワイズ距離を保持するようにランダム射影により行列を圧縮する。
• 完全なSVD因子分解を避けるために、$ A\mathbf{q} $ および $ A^T\mathbf{q} $ 操作を用いて反復的に埋め込みを計算する。
• 最終的な埋め込みを、圧縮された行列-ベクトル積の線形結合として構築し、主な $ k $ 個の特異ベクトルの効果を近似する。
• スペクトル関数 $ f(\sigma) $ の多項式展開を用いて、一度の低次元埋め込みで複数の特異ベクトルの影響を捉える。
• 関数 $ f(\lambda) = I(\lambda \geq c) $ を用いて関連する固有ベクトルを暗黙的に選択し、$ k $ に対する最適化を明示的な計算なしに可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分SVDを計算せずに、SVDベースのスペクトル埋め込みを近似できるか。その際、ペアワイズ $ \ell_2 $-ベース類似度メトリクスを保持できるか。
• RQ2 主要な特異ベクトルの数に依存しない低次元埋め込みを実現できるか。
• RQ3 ランダム射影と多項式近似による圧縮埋め込みが、下流の推論タスクにおいて標準的な部分SVDを上回るか。
• RQ4 圧縮フレームワーク内でしきい値付きスペクトル関数を用いることで、特異ベクトルの数 $ k $ に対する暗黙の最適化が可能か。
• RQ5 提案手法は、実世界のグラフ推論タスクにおいて、正確かつスケーラブルであり、正確なSVDおよび近似SVDベースの埋め込みを上回る性能を発揮できるか。

主な発見

• 圧縮スペクトル埋め込みは、アマゾン共同購入ネットワークにおいて中央値モジュラリティ0.87を達成し、標準的なSVDベース埋め込み（0.835）およびランダマイズドSVD（0.748）を顕著に上回った。
• DBLPグラフにおいて、正確な部分SVDが105分を要するのに対し、この手法は1.5分で80次元の埋め込みを計算し、70倍の高速化を達成した。
• 圧縮埋め込みは、80個の固有ベクトルを用いた正確なSVDおよび120個の固有ベクトルを用いたランダマイズドSVDよりも優れたクラスタリング品質を達成しており、より関連する構造的情報を捉えていることを示している。
• アルゴリズムの時間計算量は $ O((\tau + m + n)\log(m+n)) $ であり、埋め込み次元は $ O(\log(m+n)) $ であり、両者とも特異ベクトルの数に依存しない。
• この手法は、スペクトル埋め込み空間におけるペアワイズ $ \ell_2 $ 距離を証明可能な正確性で近似でき、明示的なSVD計算なしに正確な下流推論を可能にする。
• 圧縮アプローチにより、関数 $ f(\lambda) = I(\lambda \geq c) $ を用いたしきい値処理により、事前に $ k $ を固定する必要なく、重要特異ベクトルの数に対する暗黙の最適化が可能である。