[論文レビュー] Consistency of Sparse PCA in High Dimension, Low Sample Size Contexts

Dan Shen, Haipeng Shen+1 more|arXiv (Cornell University)|Apr 21, 2011

Blind Source Separation Techniques被引用数 7

ひとこと要約

この論文は、従来のPCAが失敗する高次元・小標本（HDLSS）設定において、スパースPCAの一貫性を確立する。スパiked共分散モデルの下で、スパイクインデックスαがスパースインデックスβを上回る限り、α < 1であってもスパースPCAは一貫性を保つが、この領域では従来のPCAは強く一貫性を欠く。一貫性の理論的境界はオラクルスパースPCAモデルを用いて導出され、この領域を超える一貫性は不可能であることが示された。

ABSTRACT

Sparse Principal Component Analysis (PCA) methods are efficient tools to reduce the dimension (or the number of variables) of complex data. Sparse principal components (PCs) are easier to interpret than conventional PCs, because most loadings are zero. We study the asymptotic properties of these sparse PC directions for scenarios with fixed sample size and increasing dimension (i.e. High Dimension, Low Sample Size (HDLSS)). Under the previously studied spike covariance assumption, we show that Sparse PCA remains consistent under the same large spike condition that was previously established for conventional PCA. Under a broad range of small spike conditions, we find a large set of sparsity assumptions where Sparse PCA is consistent, but PCA is strongly inconsistent. The boundaries of the consistent region are clarified using an oracle result.

研究の動機と目的

• 固定標本サイズで次元が発散する状況における、高次元・小標本（HDLSS）におけるスパースPCAの漸近的一貫性を調査すること。
• 母集団固有値が小さいために従来のPCAが強く一貫性を欠く状況でも、スパースPCAが一貫性を保つ条件を同定すること。
• 非ゼロローディング位置の真の知識を持つオラクルモデルを用いて、スパースPCAの一貫性の理論的境界を明確化すること。
• 従来のPCAの一貫性結果を、同じスパイク共分散モデル下でスパースPCAに拡張すること、特にα < 1の領域における拡張を目的とすること。
• HDLSS漸近的枠組み下で、しきい値処理に基づくスパースPCAとRSPCA法の性能を比較すること。

提案手法

• 母集団固有値λ₁ = O(d^α)およびλ₂ = O(d^θ)を有する単一成分スパイク共分散モデルの下でスパースPCAを分析する。ここでα > θである。
• スパースインデックスβを導入し、最初の母集団固有ベクトルにd^β個の非ゼロ成分があると仮定して、非ゼロローディング数を定量化する。
• しきい値処理に基づくスパースPCA法とRSPCAアルゴリズム（Shen & Huang, 2008）を用いて、スパース主成分を推定する。
• 固有ベクトルの真のサポートを知るオラクルスパースPCA推定量を用いて、一貫性領域の理論的下界を導出する。
• d → ∞かつnが固定の高次元漸近理論を用い、推定された主成分方向が母集団方向に収束するかを分析する。
• 集中不等式とモーメント条件を用いて、推定された固有ベクトルと真の固有ベクトルのなす角度に関する確率的バウンドを導出し、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 従来のPCAが強く一貫性を欠くHDLSS領域において、スパースPCAがどのような条件下で一貫性を示すか？
• RQ2 スパイクインデックスαとスパースインデックスβの相互作用が、スパースPCAの一貫性にどのように影響するか？
• RQ3 スパースPCAの一貫性領域の理論的境界は何か？また、オラクル推定量を用いてその境界を特徴づけられるか？
• RQ4 RSPCA法は、しきい値処理に基づく手法と同等の条件下で一貫性を達成するか？
• RQ5 α < 1であってもβ < αならば、スパースPCAの一貫性は保証されるか？

主な発見

• スパイクインデックスα > βのとき、α < 1であってもスパースPCAは一貫性を示すが、この領域では従来のPCAは強く一貫性を欠く。
• オラクルスパースPCA推定量はα ≤ βのとき強く一貫性を欠くため、α > βの領域が一貫性の最もきつい境界であることが示された。
• しきい値処理に基づくスパースPCA法では、収束速度がd^{-min{ζ,ζ'}/2}で与えられ、ここでζとζ'は固有値とノイズの減衰に関連するパラメータである。
• RSPCA法は、調整パrameterλを適切に選べば、同じ条件α > βの下で一貫性を達成し、収束速度はd^{ζ/2}である。
• α < 1でβ < αのとき、スパースPCAは従来のPCAを上回り、後者は真の固有ベクトルと直交する方向に収束する（角度 → 90°）。
• 結果から、スパースPCAは、主固有値が次元に対して線形より遅く増加する（α < 1）場合でも、固有ベクトルが十分にスパースであれば、真の主成分方向を回復可能であることが確認された。