[論文レビュー] De-biased sparse PCA: Inference and testing for eigenstructure of large covariance matrices

Jana Janková, Sara van de Geer|arXiv (Cornell University)|Jan 31, 2018

Random Matrices and Applications参考文献 28被引用数 15

ひとこと要約

この論文は、高次元設定（p ≫ n）における大きな共分散行列の固有構造に関する推論のためのバイアス補正付きスパースPCA手法を提案する。Lasso正則化M推定量のバイアスをバイアス補正手順で補正することにより、個々の負荷量および最大固有値について漸近正規性を確立し、スパarsity条件が √n/log p の範囲で有効な信頼区間と仮説検定を可能にする。

ABSTRACT

Sparse principal component analysis (sPCA) has become one of the most widely used techniques for dimensionality reduction in high-dimensional datasets. The main challenge underlying sPCA is to estimate the first vector of loadings of the population covariance matrix, provided that only a certain number of loadings are non-zero. In this paper, we propose confidence intervals for individual loadings and for the largest eigenvalue of the population covariance matrix. Given an independent sample $X^i \in\mathbb R^p, i = 1,...,n,$ generated from an unknown distribution with an unknown covariance matrix $Σ_0$, our aim is to estimate the first vector of loadings and the largest eigenvalue of $Σ_0$ in a setting where $p\gg n$. Next to the high-dimensionality, another challenge lies in the inherent non-convexity of the problem. We base our methodology on a Lasso-penalized M-estimator which, despite non-convexity, may be solved by a polynomial-time algorithm such as coordinate or gradient descent. We show that our estimator achieves the minimax optimal rates in $\ell_1$ and $\ell_2$-norm. We identify the bias in the Lasso-based estimator and propose a de-biased sparse PCA estimator for the vector of loadings and for the largest eigenvalue of the covariance matrix $Σ_0$. Our main results provide theoretical guarantees for asymptotic normality of the de-biased estimator. The major conditions we impose are sparsity in the first eigenvector of small order $\sqrt{n}/\log p$ and sparsity of the same order in the columns of the inverse Hessian matrix of the population risk.

研究の動機と目的

• p ≫ n の条件下で、高次元共分散行列の第一固有ベクトルおよび最大固有値に関する推論の課題に対処すること。
• Lasso正則化によるスパースPCA推定における固有の非凸性とバイアスを克服すること。
• 負荷量および固有値について漸近正規性を達成するバイアス補正推定量を開発し、信頼区間と仮説検定を可能にすること。
• スパarsity制約下でのスパース負荷ベクトルのℓ₁およびℓ₂ノルムにおける最小最大最適推定レートを確立すること。
• 第一固有ベクトルおよび逆Hessian行列の列に対して、スパarsity条件が √n/log p の範囲で理論的保証を提供すること。

提案手法

• 第一固有ベクトルの母共分散行列に対するLasso正則化M推定量に基づく手法であり、座標勾配降下法や勾配降下法を用いることで計算的に実行可能であるが、非凸性を有する。
• Lassoベース推定量の推定バイアスを補正するためのバイアス補正手順が適用され、負荷ベクトルおよび最大固有値のバイアス補正推定量が得られる。
• 第一固有ベクトルおよび母共分散リスクの逆Hessian行列の列に対して、スパarsity条件が √n/log p の範囲で、バイアス補正推定量が漸近正規性を示すことが示された。
• 理論的分析には、ペーリング論法と集中不等式を用い、経験過程を制御する。これには、標本共分散行列の偏差行列のℓ∞-ノルムのバインドが用いられる。
• 仮定されたスパarsityレジーム下で、Lasso推定量のℓ₁およびℓ₂ノルムにおける最小最大最適性が確立された。
• 理論的保証は、経験過程理論、凸緩和技術、およびスパースベクトルの凸包を用いたバイアス補正誤差の制御を組み合わせて導出された。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の条件下で、高次元スパースPCAにおける個々の負荷量に対して有効な信頼区間を構築できるか？
• RQ2 スパarsity制約下で、共分散行列の第一固有ベクトルおよび最大固有値に対するバイアス補正推定量は漸近正規性を達成するか？
• RQ3 高次元スパースPCAにおける一貫性のある推定と有効な推論に必要な最小スパarsity条件は何か？
• RQ4 LassoベースのスパースPCA推定量のバイアスは推論にどのように影響するか？また、効果的に補正可能か？
• RQ5 どのような条件下で、バイアス補正付きスパースPCA推定量はℓ₁およびℓ₂ノルムにおいて最小最大最適レートを達成するか？

主な発見

• 第一固有ベクトルのバイアス補正スパースPCA推定量は、非ゼロ負荷量の数が √n/log p のオーダーであるスパarsity条件下で漸近正規性を達成する。
• 最大固有値推定量に対しても漸近正規性が成立し、主固有値に関する有効な信頼区間と仮説検定が可能になる。
• 同じスパarsityレジーム下で、Lasso正則化M推定量はℓ₁およびℓ₂ノルムにおいて最小最大最適レートを達成する。
• Lasso推定量のバイアスが形式的に同定され、バイアス補正手順により補正され、漸近正規性が回復される。
• 個々の負荷量および最大固有値に対して、有効な信頼区間が提供され、漸近的に名目水準に近づく被覆確率を有する。
• ペーリングおよび集中技術を用いて、標本共分散行列と母共分散行列の乖離に関する理論的バインドが確立され、高次元スパarsity下でも頑健性が保証される。