[論文レビュー] An algorithm for the principal component analysis of large data sets

Nathan Halko, Per‐Gunnar Martinsson+2 more|arXiv (Cornell University)|Jul 30, 2010

Stochastic Gradient Optimization Techniques参考文献 12被引用数 5

ひとこと要約

この論文は、メインメモリの容量を超える非常に大きなデータセットの主成分分析（PCA）を、ランダム射影と反復的Krylov部分空間法に基づく外部記憶方式で行う確率的アルゴリズムを提示する。この手法は、並列アーキテクチャでさえも、ほぼ最適なスペクトルノルムの精度を高い確率で達成し、RAMに収まらないほど大きなデータを効率的に処理する。ディスクI/Oを最小限に抑え、主な特徴値部分空間を近似するためにランダムサンプリングを活用することで実現する。

ABSTRACT

Recently popularized randomized methods for principal component analysis (PCA) efficiently and reliably produce nearly optimal accuracy --- even on parallel processors --- unlike the classical (deterministic) alternatives. We adapt one of these randomized methods for use with data sets that are too large to be stored in random-access memory (RAM). (The traditional terminology is that our procedure works efficiently "out-of-core.") We illustrate the performance of the algorithm via several numerical examples. For example, we report on the PCA of a data set stored on disk that is so large that less than a hundredth of it can fit in our computer's RAM.

研究の動機と目的

• ランダムアクセスメモリ（RAM）に収まらないデータセットに対してPCAを実行する課題に対処し、標準的なハードウェアで大規模データの解析を可能にする。
• ディスクアクセスを最小限に抑え、ランダム射影を活用して高い精度を達成する効率的な外部記憶アルゴリズムを開発する。
• データに依存せず、わずかに減少する特徴値を持つ場合でも、ほぼ最適なスペクトルノルムの精度を、極めて高い確率で保証する。
• 現代のマルチコアおよび分散システムに適したスケーラブルで並列化可能なPCA計算を可能にする。
• 実世界のデータセット、特に生体化学的画像と大規模シミュレーションにおいて、この手法の頑健性と効率性を実証する。

提案手法

• アルゴリズムは、行列Aの範囲の大部分を捉える低次元部分空間を構築するためにランダム射影を用いる。
• AとA^Tを含む行列-ベクトル積の系列を適用して、Krylovに類似した部分空間を生成し、A A^Tの累乗を用いて部分空間を豊かにする。
• 得られた行列Hに対してピボット付きQR分解を適用し、Aの主要な範囲の正規直交基底Qを抽出する。
• A ≈ U Σ V^Tの低ランクSVD近似を、行列Aを正規直交基底Qに射影し、その射影された小さい行列のSVDを計算することで構築する。
• アルゴリズムは、各行列要素がアクセスされる回数を最小限に抑え、外部記憶計算におけるI/Oコストを削減するように設計されている。
• スペクトルノルムの近似誤差を推定するために、パワー法に基づく推定器が用いられ、誤差が2倍以内に収まる確率が非常に高い。

実験結果

リサーチクエスチョン

• RQ1 ランダム化PCAは、メインメモリに収まらないデータセットでも、効率的に動作するように適合可能か？
• RQ2 外部記憶計算において、ほぼ最適なスペクトルノルムの精度を維持しながら、ディスクアクセス回数を最小限に抑える方法は何か？
• RQ3 RAMに1%未満のデータしか収められないデータセットにおいて、このアルゴリズムの性能はいかがなものか？
• RQ4 特徴値がゆっくり減少する場合でも、この手法は高い精度を維持するか？
• RQ5 マルチコアまたは分散システム上で、このアルゴリズムは効率的に並列化可能か？

主な発見

• アルゴリズムは、RAMに1%未満のデータしか収められないデータセットに対してもPCAを正常に計算し、外部記憶処理の頑健性を示した。
• 近似誤差のスペクトルノルムは、常にσ_{k+1}（(k+1)番目の特徴値）に近く、ほぼ最適な精度であることが示された。
• E. coliの生体化学的画像データセットでは、ノイズの多い画像を150個の主要な右特徴ベクトルに射影することで、効果的なノイズ除去が達成された。
• わずかな反復回数（例：i=0またはi=1）と小さなオーバーサンプリング（l=k+2）でも、特徴値がゆっくり減少する場合でも、高い精度が得られた。
• 良好なスペクトルノルム精度を達成する確率は1−10^{−15}を上回り、データに依存せず、理論的保証が確認された。
• アルゴリズムのコアステップは並列化に適しており、現代のマルチコアおよび分散コンピューティング環境への展開に適している。