[論文レビュー] Single-Pass PCA of Large High-Dimensional Data

Wenjian Yu, Yu Gu+3 more|arXiv (Cornell University)|Apr 25, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 16

ひとこと要約

本論文は、ディスク上に保存されているか、ストリーミング形式で得られる大規模かつ高次元なデータの主成分分析（PCA）を、1回のパスでランダム化されたアルゴリズムとして提案する。この手法により、主記憶領域に収まらない大規模データセットを、極めて少ないメモリ使用量で効率的に処理可能であり、150 GBのデータセットを1 GB未満のRAMで24分で処理する。既存の1パス手法に比べて誤差低減とスケーラビリティの両面で優れている。

ABSTRACT

Principal component analysis (PCA) is a fundamental dimension reduction tool in statistics and machine learning. For large and high-dimensional data, computing the PCA (i.e., the singular vectors corresponding to a number of dominant singular values of the data matrix) becomes a challenging task. In this work, a single-pass randomized algorithm is proposed to compute PCA with only one pass over the data. It is suitable for processing extremely large and high-dimensional data stored in slow memory (hard disk) or the data generated in a streaming fashion. Experiments with synthetic and real data validate the algorithm's accuracy, which has orders of magnitude smaller error than an existing single-pass algorithm. For a set of high-dimensional data stored as a 150 GB file, the proposed algorithm is able to compute the first 50 principal components in just 24 minutes on a typical 24-core computer, with less than 1 GB memory cost.

研究の動機と目的

• 主記憶領域に収まらない極めて大規模かつ高次元なデータセットに対するPCA計算の課題に対処すること。
• 遅いストレージ（例：HDD）に保存されているデータやストリーミング形式で生成されるデータに適した1パスアルゴリズムを開発すること。
• 既存の1パスPCA手法に比べて精度を向上させつつ、低メモリおよび計算コストを維持すること。
• 限られたRAMを備えた標準的なハードウェアで、テラバイトスケールのデータセットに対する実用的なPCA計算を可能にすること。
• 多様なデータ分布にわたる堅牢性を裏付ける理論的誤差境界と実験的検証を提供すること。

提案手法

• 高次元データを低次元部分空間に射影するために、構造的ランダム行列に基づくランダムスケッチ技術を用いる。
• 直交射影行列を用いて、データのコンact表現を保持する1パス行列スケッチスキームを適用する。
• スケッチされた行列に対するトレuncated SVDを用いて主成分を再構築し、計算効率を確保する。
• 最小限のデータアクセスで主要な特徴空間を特定するために、ランダム化QB近似を活用する。
• 誤差伝搬を低減するために、直交化と構造的ランダム射影を用いて数値的安定性を確保する。
• 追加の1パス（パワー法）を統合することで、実行時間やメモリ使用量を著しく増加させずに精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 主記憶領域に収まらない大規模かつ高次元なデータセットに対して、1パスアルゴリズムが高精度なPCAを達成できるか？
• RQ2 本手法は、頻度方向（frequent-directions）や基本的ランダムQB（basic randQB）に基づく既存の1パスPCA手法と比較して、精度と効率の面でどのように差をつけるか？
• RQ3 限られたRAMでテラバイトスケールのデータを処理する際、アルゴリズムのメモリおよび時間計算量はどのようになるか？
• RQ4 本手法は、高次元画像行列のような実世界のストリーミングまたはディスク保存データに効果的に適用可能か？
• RQ5 非構造的ランダム射影と比較して、構造的ランダム行列の使用が、精度および安定性をどの程度向上させるか？

主な発見

• 150 GB、102,042 × 393,216 の行列の最初の50個の主成分を、1 GB未満のメモリで1453秒（約24分）で計算可能。
• 150 GBのデータセットにおいて、本手法は最大誤差1.8e-3を達成しており、ベースラインの1パス手法の2.2e-2に比べ顕著に低い。
• 10,000 × 10,000 の行列において、最初の50個の主成分を0.69秒で計算可能。一方、MATLABの'svds'関数は219秒を要する。
• パワー法（追加の1パス）を適用することで、タイプ1行列では最大誤差が4.6e-7に、タイプ2行列では3e-6にまで低下し、実行時間の増加はわずかである。
• 実験全体を通じて、アルゴリズムのメモリコストは402 MBから490 MBの間で推移するが、標準的なSVD手法は過大なメモリ要件のため失敗する。
• FERETデータセットから計算された固有顔画像は、先行研究の結果とよく一致しており、本手法の忠実性および実用的有用性を裏付けている。