[論文レビュー] Sparse Principal Components Analysis

Iain M. Johnstone, Arthur Yu Lu|ArXiv.org|Jan 28, 2009

Blind Source Separation Techniques参考文献 16被引用数 161

ひとこと要約

この論文は、変数の数 $ p $ が標本サイズ $ n $ と同等またはそれ以上である高次元設定において、標準的PCAの不一致を解消するため、スパース主成分分析（SPCA）を提案する。スパース基底（例えばウェーブレット）における標本分散が最も高い座標の小さなサブセットを事前に選択することで、SPCAは次元削減を実現し、$ p \gg n $ の場合でも主成分の一貫性のある推定を回復する。これはスパarsity仮定の下で理論的保証を伴う。

ABSTRACT

Principal components analysis (PCA) is a classical method for the reduction of dimensionality of data in the form of n observations (or cases) of a vector with p variables. For a simple model of factor analysis type, it is proved that ordinary PCA can produce a consistent (for n large) estimate of the principal factor if and only if p(n) is asymptotically of smaller order than n. There may be a basis in which typical signals have sparse representations: most co-ordinates have small signal energies. If such a basis (e.g. wavelets) is used to represent the signals, then the variation in many coordinates is likely to be small. Consequently, we study a simple "sparse PCA" algorithm: select a subset of coordinates of largest variance, estimate eigenvectors from PCA on the selected subset, threshold and reexpress in the original basis. We illustrate the algorithm on some exercise ECG data, and prove that in a single factor model, under an appropriate sparsity assumption, it yields consistent estimates of the principal factor.

研究の動機と目的

• 変数数 $ p $ が標本サイズ $ n $ と同等またはそれ以上である高次元設定において、標準的PCAの不一致を解消すること。
• PCAの前に情報量の多い変数の小さなサブセットを事前に選択することで、推定の一貫性が向上することを示すこと。
• 信号がスパースに表現可能な基底（例：ウェーブレット）で作業することで、主成分の一致した回復が可能になること。
• 計算量を $ O(p^3) $ から $ O(k^3) $ に削減する計算的に効率の良いアルゴリズムの開発、ここで $ k \ll p $。
• スパarsityおよびノイズモデルの下で、SPCAが一貫した推定をもたらす理論的裏付けの提供。

提案手法

• 信号がスパースに表現される（例：ウェーブレット）スパース基底にデータを変換する。
• 変換された係数の各座標について、標本分散を計算し、分散が最大の $ k $ 個の座標を選択する。
• 選択された $ k $ 個の座標でのみ標準的PCAを実行することで、計算コストを $ O(k^3) $ に削減する。
• 結果の固有ベクトルに対して、ソフトまたはハードスレッショーディングを適用してノイズを除去する。
• ノイズ除去済みの固有ベクトルを元の信号領域に再表現する。
• 漸近的解析と集中不等式を用いて、スパarsityおよびノイズ仮定の下での一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 標準的PCAは、$ p \gg n $ の場合、どのような条件下で主成分を一貫して推定できなくなるか？
• RQ2 スパース基底における変数の小さなサブセットを事前に選択することで、高次元PCAにおける一貫性が回復可能か？
• RQ3 ウェーブレットなどの基底の選択が、PCAの一貫性および計算効率にどのように影響するか？
• RQ4 スパarsityおよびノイズ仮定の下で、スパースPCA推定量の理論的収束速度は何か？
• RQ5 信号が既知の基底でスパースに表現される場合、この手法は真の主成分を回復できるか？

主な発見

• 標準的PCAは、$ p(n) \geq cn $ の場合に不一致となる。これは高次元性のため、ノイズの最大値が真の信号を上回るためである。
• 真の信号が選択した基底でスパースである限り、SPCAは $ p(n) \gg n $ の場合でも一貫性を回復する。
• アルゴリズムは、スパース基底における標本分散が最大の $ k $ 個の座標を選択することで、有効次元を低減し、一貫性のある推定を達成する。
• 理論的解析により、スパarsityおよびノイズ条件の下で推定誤差 $ \|\hat{\rho}_{I} - \rho_{I}\| \to 0 $ がほとんど確実に $ n \to \infty $ のとき成立することが示された。
• 計算コストは $ O(p^3) $ から $ O(k^3) $ に削減され、ここで $ k \ll \min(n,p) $ であるため、スケーラビリティが向上する。
• Borel-Cantelliの補題と集中不等式により、選択された集合 $ \hat{I} $ が漸近的に真の信号のサポートを高確率で含むことが確認された。