[論文レビュー] Fast Randomized PCA for Sparse Data

Feng Xu, Yuyang Xie+3 more|arXiv (Cornell University)|Oct 16, 2018

Face and Expression Recognition被引用数 13

ひとこと要約

この論文は、大規模なスパース行列を対象に最適化された高速なランダム化PCAアルゴリズムであるfrPCAを提案する。修正されたパワー反復法と高さが大きく横に細長い行列の効率的処理を活用し、基本的なランダム化SVDに比べ最大9.1倍の高速化、MATLABのsvdsに比べ最大20倍の高速化を達成した。精度の損失は無視できるほど小さく、メモリ使用量も削減された。これにより、従来の手法ではメモリ制限のため処理が不可能な大規模なスパースデータセットの処理が可能になった。

ABSTRACT

Principal component analysis (PCA) is widely used for dimension reduction and embedding of real data in social network analysis, information retrieval, and natural language processing, etc. In this work we propose a fast randomized PCA algorithm for processing large sparse data. The algorithm has similar accuracy to the basic randomized SVD (rPCA) algorithm (Halko et al., 2011), but is largely optimized for sparse data. It also has good flexibility to trade off runtime against accuracy for practical usage. Experiments on real data show that the proposed algorithm is up to 9.1X faster than the basic rPCA algorithm without accuracy loss, and is up to 20X faster than the svds in Matlab with little error. The algorithm computes the first 100 principal components of a large information retrieval data with 12,869,521 persons and 323,899 keywords in less than 400 seconds on a 24-core machine, while all conventional methods fail due to the out-of-memory issue.

研究の動機と目的

• ソーシャルネットワーク、情報検索、レコメンデーションシステムなどの大規模なスパース実世界データセットに適用する際、従来のPCAおよびSVD手法が直面する計算およびメモリのボトル neck を解消すること。
• svds や基本的な rPCA と比較して、実行時間およびメモリ効率に優れた、スパースデータに特化したランダム化PCAアルゴリズムを開発すること。
• 修正されたパワー反復スキームにより、データ行列を奇数回のパスで走査できるようにし、実行時間と精度の間で柔軟なトレードオフを可能にすること。
• 行数が列数より多い行列（たいていの先行研究で無視されがちなケース）を効率的に処理できること。
• メモリ容量を超える極めて大規模なスパース行列（例：12M×323K）に対してスケーラブルであることを保証すること。標準的手法では失敗する状況でも処理可能である。

提案手法

• スパース行列の主要部分空間を特定するために、ランダム射影とパワー反復法を用いた修正されたランダム化SVDアルゴリズムであるfrPCAを提案する。
• データ行列を奇数回のパスで走査できる、新たなパワー反復スキームを導入し、実行時間と精度の間の粒度の細かいトレードオフを実現する。
• 行数が列数より多い行列（高さが大きく横に細長い行列）を効率的に処理できる特殊なバージョン、frPCAt を設計する。
• 浮動小数点演算の回数を最小限に抑え、アルゴリズム全体でスパース行列演算を最大限に活用することで、計算コストを最適化する。
• スパース度、パワー反復パラメータ q、求める成分数との関係を理論的に分析し、アルゴリズムの効率性をモデル化する。
• ピークメモリ使用量を削減するメモリ効率の良い計算を実装し、利用可能なRAMを超えるデータセットの処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースデータに対して、精度をほとんど損なわずに大幅に高速化できるランダム化PCAアルゴリズムは構築可能か？
• RQ2 提案されたアルゴリズムの性能は、スパース度、成分数、パワー反復パラメータの変化にどのようにスケーリングするか？
• RQ3 データ行列に対して奇数回のパス走査を効果的に活用することで、ランダム化SVDにおける実行時間と精度のトレードオフを改善できるか？
• RQ4 標準的手法（svds や eigSVDs）に比べ、大規模なスパース行列において、速度およびメモリ効率の両面で優れているか？
• RQ5 12M×323K などの極めて大規模なスパースデータセット（従来の手法ではメモリオーバーフローで失敗する）を処理できるか？

主な発見

• 提案されたfrPCAアルゴリズムは、実際のスパースデータセットにおいて、基本的なランダム化SVD（rPCA）に比べ最大9.1倍の高速化を達成し、精度損失は無視できるほど小さい。
• 最大のデータセット（Aminer、12.9M×323K）では、frPCAは23 GBのメモリで400秒未塔で完了したが、svdsは32 GB以上が必要なためメモリオーバーフローで失敗した。
• MATLABのsvds関数に比べ、frPCAは最大20倍高速であり、SNAPソーシャルネットワークデータセットでは13倍の高速化を達成した。
• SNAPデータセットでは、frPCAのメモリ使用量は0.35 GB、svdsは0.58 GBであり、frPCAの優れたメモリ効率が裏付けられた。
• 理論的分析により、速度向上比（Sp1）が実測値とよく一致することが確認され、モデルの性能予測の正確性が裏付けられた。
• すべてのテストデータセット（1200万行を超えるものも含む）について、最初の100個の主成分を正常に計算でき、従来の手法では処理が不可能なケースでも成功した。