[論文レビュー] Principal Component Projection Without Principal Component Analysis

Roy Frostig, Cameron Musco+2 more|arXiv (Cornell University)|Feb 22, 2016

Matrix Theory and Algorithms参考文献 18被引用数 11

ひとこと要約

本稿では、主成分分析（PCA）を実行せずに、リッジ回帰へのブラックボックス呼び出しのみを用いて、行列の上位主成分にベクトルを射影する、新しい反復的アルゴリズムを提示する。この手法は、低次の多項式による行列ステップ関数の近似を通じて、線形収束を達成する。これにより、主成分数に依存しない実行時間を持つ、最初のPCAフリーな主成分回帰（PCR）アルゴリズムが得られる。

ABSTRACT

We show how to efficiently project a vector onto the top principal components of a matrix, without explicitly computing these components. Specifically, we introduce an iterative algorithm that provably computes the projection using few calls to any black-box routine for ridge regression. By avoiding explicit principal component analysis (PCA), our algorithm is the first with no runtime dependence on the number of top principal components. We show that it can be used to give a fast iterative method for the popular principal component regression problem, giving the first major runtime improvement over the naive method of combining PCA with regression. To achieve our results, we first observe that ridge regression can be used to obtain a "smooth projection" onto the top principal components. We then sharpen this approximation to true projection using a low-degree polynomial approximation to the matrix step function. Step function approximation is a topic of long-term interest in scientific computing. We extend prior theory by constructing polynomials with simple iterative structure and rigorously analyzing their behavior under limited precision.

研究の動機と目的

• 高次元データにおけるPCAの計算ボトル neck を解消するために、主成分の明示的計算を避ける。
• PCA や固有ベクトルの計算を一切行わず、ベクトルを上位主成分部分空間に射影する手法を開発する。
• 高価なPCAステップを排除することで、主成分回帰（PCR）を高速化する。
• 選択された上位成分の数に依存しない実行時間を達成する。これは、従来のPCAベースの手法における主要な制限要因である。

提案手法

• リッジ回帰を、特異値のステップ関数を滑らかに近似する射影演算子として活用し、リッジ解が特異値のステップ関数を近似する。
• 行列ステップ関数の低次の多項式近似を用いて、リッジ回帰の出力を真の射影に鋭く修正する。
• ブラックボックスのリッジ回帰ルーチンを繰り返し呼び出すことで、反復的アルゴリズムを設計する。
• 限界精度算術下での多項式近似の挙動を分析することで、数値的安定性を確保する。
• スペクトル射影における誤差を最小限に抑えるために、ステップ関数に急速に収束する反復的構造を持つ多項式を構築する。
• 上位成分へのベクトルの射影が、A^T b の射影にのみ依存することを活用し、A_λ 行列の全量を計算する必要がないことを利用する。

実験結果

リサーチクエスチョン

• RQ1 主成分を明示的に計算せずに、行列の上位主成分にベクトルを射影することは可能か？
• RQ2 PCA を完全に回避するために、リッジ回帰へのブラックボックスアクセスのみを用いてこの射影を達成できるか？
• RQ3 選択された上位成分の数に依存しない実行時間を持つ手法を設計できるか？
• RQ4 リッジ回帰出力の多項式スムージングを用いて、真の射影をどの程度正確に近似できるか？
• RQ5 このアプローチは、標準的なPCA＋回帰パイプラインよりも高速な主成分回帰（PCR）アルゴリズムを提供できるか？

主な発見

• 提案手法は反復回数に対して線形収束を達成し、誤差が幾何的に減少する。
• 主成分の明示的計算を一切行わないため、SVD や固有値分解の O(d^3) のコストが排除される。
• スペクトルギャップ γ = 0.1 の合成データでは、20回未満の反復で射影の相対誤差が 0.01 未満に達する。
• スペクトルギャップが小さい（γ ≈ 0.006）MNIST ベースの回帰タスクでは、20回の反復で射影の相対誤差が 0.01 に達する。
• 本手法は、証明可能な高速収束と成分数に依存しない性質を備えた、最初のPCAフリーなPCR手法を提供する。
• 理論的分析により、限界精度下でもステップ関数への多項式近似が一様に収束することが示され、安定的かつ正確な射影が保証される。