[論文レビュー] Sparse PCA through Low-rank Approximations

Dimitris Papailiopoulos, Alexandros G. Dimakis+1 more|arXiv (Cornell University)|Mar 3, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用数 36

ひとこと要約

この論文は、k-スパース主成分を、証明可能な効率性を保証する低ランク近似を用いて計算する、新しい組み合わせ的アルゴリズムを提案する。スペクトルの減衰を活用し、特徴量の削除ステップを組み合わせることで、特にべき乗則に従う固有値の減衰下で、多項式時間の近似保証を達成する。また、数百万のエントリを含む大規模データセットにおいて、精度と速度の両面で先行手法を上回っている。

ABSTRACT

We introduce a novel algorithm that computes the $k$-sparse principal component of a positive semidefinite matrix $A$. Our algorithm is combinatorial and operates by examining a discrete set of special vectors lying in a low-dimensional eigen-subspace of $A$. We obtain provable approximation guarantees that depend on the spectral decay profile of the matrix: the faster the eigenvalue decay, the better the quality of our approximation. For example, if the eigenvalues of $A$ follow a power-law decay, we obtain a polynomial-time approximation algorithm for any desired accuracy. A key algorithmic component of our scheme is a combinatorial feature elimination step that is provably safe and in practice significantly reduces the running complexity of our algorithm. We implement our algorithm and test it on multiple artificial and real data sets. Due to the feature elimination step, it is possible to perform sparse PCA on data sets consisting of millions of entries in a few minutes. Our experimental evaluation shows that our scheme is nearly optimal while finding very sparse vectors. We compare to the prior state of the art and show that our scheme matches or outperforms previous algorithms in all tested data sets.

研究の動機と目的

• 高次元データにおけるk-スパース主成分を計算する、証明可能な正確性と効率性を持つアルゴリズムの開発。
• 現実的なスペクトル条件の下で、スパースPCAの計算の非効率性を解消し、多項式時間近似スキームを提供すること。
• スパース性を強制することで主成分の解釈可能性を向上させつつ、分散説明率を維持すること。
• 不要な特徴量を早期に削除する組み合わせ的特徴量削除ステップにより、大規模データセットにおける実行時間を短縮すること。

提案手法

• アルゴリズムは、入力共分散行列Aの低次元固有部分空間上で動作し、ランクdまでSVDによって計算される。
• このd次元部分空間内の特別なベクトルの離散集合に対して、k-スパースベクトルで高いレイリー商を達成する組み合わせ的探索を実行する。
• 鍵となる構成要素は、寄与度が低い特徴量を安全に削除する証明可能な特徴量削除ステップであり、解の品質を損なわずに問題サイズを縮小する。
• スパースベクトル上の二次形式最大化のためのAsterisらのソルバーの変種を用い、スパースPCAに適応させている。
• 非負行列の場合、特化した最適化により、2^dの要因で効率が向上する。
• アルゴリズムの実行時間はO(n^{d+1} log n + SVD(A,d))であり、dが小さい場合にはnが大きくてもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 現実的なスペクトル減衰仮定の下で、証明可能な近似保証を持つ多項式時間アルゴリズムを設計できるか？
• RQ2 解の品質を損なわず、大規模データにおけるスパースPCAの計算複雑性を効率的に低減できるか？
• RQ3 特徴量削除は、スパース主成分の最適性を維持しながら、実行時間にどの程度の改善をもたらすか？
• RQ4 実世界のデータ（べき乗則に従う固有値減衰を示す）において、近似的に最適な分散説明率を達成できるか？
• RQ5 大規模テキストデータにおいて、TPower や FullPath といった最先端手法と比較して、精度と速度の両面でどのように性能を発揮するか？

主な発見

• アルゴリズムは最適なスパースPCA目的関数の(1−ε_d)近似を達成し、ε_dはmin{n/k · λ_{d+1}/λ_1, λ_{d+1}/λ_1^{(1)}}で有界である。ここでλ_iは固有値であり、λ_1^{(1)}は最大の対角要素である。
• べき乗則に従う固有値減衰を示す行列に対して、多項式時間近似スキーム（PTAS）を提供し、nとkに関して多項式時間で任意の所望の精度εを達成できる。
• 222,000個の固有語と190万エントリを含むTwitterデータセットにおいて、ランク3の近似で最大分散説明率の95.4％を達成し、TPower や FullPath を上回った。
• 特徴量削除ステップにより、初期の64,000行から有効な問題サイズが40～80行にまで縮小され、標準のラップトップでも1分未塔の実行時間が達成された。
• 65,000ツイートのデータセットにおいて、ランク1では1秒未塔、ランク2では5秒未塔、ランク3では2分未塔の実行時間であり、高いスケーラビリティを示した。
• 全テストデータセットにおいて、TPower や FullPath を含む先行の最先端手法と比較して、分散説明率を同等または上回り、強固なスパース性と解釈可能性を維持した。