[論文レビュー] Sparse PCA via Covariance Thresholding

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|Nov 20, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用数 43

ひとこと要約

本稿は、一般の高次元スケーリング下で、共分散しきい値処理がスパースPCAにおける最適なサポート回復を達成することを証明している。特に、スパarsityレベル $ s_0 riangleq ext{supp}({f v}) $ が $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ を満たす場合、高確率で真のスパース主成分を回復できる。この手法は、先行研究の対角線しきい値処理を上回り、既知の最良の理論的境界に一致する。

ABSTRACT

In sparse principal component analysis we are given noisy observations of a low-rank matrix of dimension $n imes p$ and seek to reconstruct it under additional sparsity assumptions. In particular, we assume here each of the principal components $\mathbf{v}_1,\dots,\mathbf{v}_r$ has at most $s_0$ non-zero entries. We are particularly interested in the high dimensional regime wherein $p$ is comparable to, or even much larger than $n$. In an influential paper, \cite{johnstone2004sparse} introduced a simple algorithm that estimates the support of the principal vectors $\mathbf{v}_1,\dots,\mathbf{v}_r$ by the largest entries in the diagonal of the empirical covariance. This method can be shown to identify the correct support with high probability if $s_0\le K_1\sqrt{n/\log p}$, and to fail with high probability if $s_0\ge K_2 \sqrt{n/\log p}$ for two constants $0

研究の動機と目的

• スパースPCAにおける既存の実用的アルゴリズムと理論的保証のギャップを埋めること、特に $ p o ext{large} $ かつ $ n riangleq ext{標本サイズ} $ の高次元設定下でのサポート回復について。
• 共分散しきい値処理—以前は $ s_0 = O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ まで成功すると予想されていた—が、一般の高次元スケーリング下で最適なサポート回復を達成することを厳密に確立すること。
• これまで未検討のレジームにおける核行列のノルムに関する新しい境界を確立し、共分散および主成分回復における推定誤差の鋭い解析を可能にすること。
• 提案手法が最適な標本複雑度を達成し、既知の情報理論的下界と一致することを示し、多項式時間スパースPCAの根本的限界を確立すること。

提案手法

• 標本共分散行列 $ f{G} $ の対角成分のうち $ s_0 $ 個の最大値を選択し、それに対応する部分行列に共分散行列を制限した後、主固有ベクトルを計算する共分散しきい値処理アルゴリズムを提案。
• $ p o ext{large} $、$ n o ext{large} $、$ s_0 $ が $ n $ と共に増加する高次元レジームにおいて、核行列の作用素ノルムに関する新しい境界を用いてこの手法を分析。
• ノイズ下での主成分推定子の摂動解析を実施し、回転不変性とガウス型二次形式のベルンシュタイン型尾部バウンドを活用。
• 一般の $ n, p, s_0, r $ スケーリング下で、主成分推定値の $ oldsymbol{ u} $-ノルムおよび推定共分散行列の作用素ノルムに対する高確率境界を導出。
• インデックスの和集合を用い、推定誤差を3つの成分に細かく分解：ノイズのスペクトルノルム、真の信号との整合性誤差、サポート不一致に起因する残差バイアス。
• 標本サイズ $ n riangleq ext{標本サイズ} riangleq ext{polylog}(p) imes s_0 $ の条件下で、しきい値処理推定子が高確率で真のサポート $ ext{supp}({f v}) $ を回復することを確立。$ eta, eta_{ ext{min}}, heta, heta $ に関する条件を満たす場合。

実験結果

リサーチクエスチョン

• RQ1 高次元スケーリング下で $ p riangleq ext{次元} o ext{large} $ かつ $ n riangleq ext{標本サイズ} riangleq p $ に近い場合、共分散しきい値処理はスパースPCAにおける最適なサポート回復を達成できるか？
• RQ2 共分散しきい値処理によるサポート回復の最適な標本複雑度は何か？ また、既知の情報理論的下界と一致するか？
• RQ3 一般の $ n, p, s_0 $ スケーリング下で、スパースPCAにおける推定誤差を解析するため、核行列のノルムに関する新しい境界を構築できるか？
• RQ4 共分散しきい値処理は、標本複雑度およびサポート回復の正確性において、対角線しきい値処理を上回るか？
• RQ5 この手法が高確率でのサポート回復を達成するための $ eta, eta_{ ext{min}}, heta, heta $ の明確な条件は何か？

主な発見

• 共分散しきい値処理アルゴリズムは、標本サイズ $ n riangleq ext{標本サイズ} riangleq ext{polylog}(p) imes s_0 $ の条件下で、真のスパース主成分 $ f{v} $ の高確率でのサポート回復を達成する。定数は $ eta, eta_{ ext{min}}, heta $ に依存する。
• $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ の条件下で、この手法は高確率でサポートを回復する。これは、既知の最良の理論的境界と一致し、情報理論的限界とのギャップを埋めることを示している。
• 本稿は、これまで分析されていなかった高次元レジームにおける核行列の作用素ノルムに関する新しい境界を確立し、推定誤差の鋭い制御を可能にした。
• この手法は最適な標本複雑度を達成する：[BR13, MW15a] で知られている下界と一致しており、より良い結果を得られる多項式時間アルゴリズムは存在しないことを示している。
• 主成分推定子は $ oldsymbol{ u} $-ノルム誤差 $ riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ を達成し、推定共分散行列は作用素ノルムで $ O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ のレートで収束する。
• 解析により、$ n riangleq ext{標本サイズ} riangleq ext{polylog}(p) imes s_0 $ の条件下で、$ ext{supp}(f{v}) riangleq ext{真のサポート} $ が高確率で回復されることを証明した。定数は $ eta, eta_{ ext{min}}, heta $ に依存する。