[論文レビュー] Bootstrap confidence sets for spectral projectors of sample covariance

Alexey Naumov, Vladimir Spokoiny+1 more|arXiv (Cornell University)|Mar 2, 2017

Statistical Methods and Inference参考文献 9被引用数 7

ひとこと要約

本稿では、高次元設定下での標本共分散行列のスペクトル射影子に対する鋭い信頼集合を構築する非漸近的ブートストラップ手順を提案する。ガウス比較および反集中不等式を活用することで、真の射影子と経験射影子のフロベニウスノルム距離のブートストラップ近似に対する有限標本誤差バウンドを確立し、小標本かつ高次元でも信頼できる推論を可能にする。

ABSTRACT

Let $X_{1},\ldots,X_{n}$ be i.i.d. sample in $\mathbb{R}^{p}$ with zero mean and the covariance matrix $\mathbfΣ$. The problem of recovering the projector onto an eigenspace of $\mathbfΣ$ from these observations naturally arises in many applications. Recent technique from [Koltchinskii, Lounici, 2015] helps to study the asymptotic distribution of the distance in the Frobenius norm $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ between the true projector $\mathbf{P}_r$ on the subspace of the $r$-th eigenvalue and its empirical counterpart $\widehat{\mathbf{P}}_r$ in terms of the effective rank of $\mathbfΣ$. This paper offers a bootstrap procedure for building sharp confidence sets for the true projector $\mathbf{P}_r$ from the given data. This procedure does not rely on the asymptotic distribution of $\| \mathbf{P}_r - \widehat{\mathbf{P}}_r \|_{2}$ and its moments. It could be applied for small or moderate sample size $n$ and large dimension $p$. The main result states the validity of the proposed procedure for finite samples with an explicit error bound for the error of bootstrap approximation. This bound involves some new sharp results on Gaussian comparison and Gaussian anti-concentration in high-dimensional spaces. Numeric results confirm a good performance of the method in realistic examples.

研究の動機と目的

• 標本サイズが小さくまたは中程度で次元が大きい状況下で、標本共分散行列のスペクトル射影子に対する信頼集合を構築する有効なブートストラップ手順を開発すること。
• しばしば高次元設定で信頼性が低い、漸近的分布およびそのモーメントに依存しないこと。
• 特に高次元ガウス空間において、明示的な誤差バウンドを伴う有限標本の有効性を確立すること。
• 現実的な標本条件下で、共分散行列の固有空間に対する推論を向上させ、鋭い信頼集合を提供すること。
• 理論的保証を支えるために、高次元におけるガウス比較および反集中不等式に関する新しい鋭い結果を導出すること。

提案手法

• データの経験分布からの再サンプリングに基づく非漸近的ブートストラップフレームワークを用い、スペクトル射影子の標本分布を近似する。
• 経験共分散作用素と真の共分散作用素を含む、射影子差の線形および非線形項への分解を採用する。
• ブートストラップ世界における集中不等式を適用し、ブートストラップ射影子とその期待値との乖離を制御する。
• ガウス比較不等式を用いて、ブートストラップと射影子距離のガウス近似との差をバウンドする。
• 次元に依存しない反集中不等式を、高次元ガウスベクトルの二乗ノルムに対して導入し、最大2つの固有値にのみ依存する。
• 真の共分散行列の有効ランクおよび固有値構造を用いて、ブートストラップ近似の明示的誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 漸近的近似に依存せずに、スペクトル射影子に対する有効な信頼集合を提供するブートストラップ手順を構築できるか？
• RQ2 射影子差のフロベニウスノルムのブートストラップ近似に対する有限標本誤差バウンドは何か？
• RQ3 ガウス比較および反集中不等式をどのように活用して、高次元設定下で鋭いバウンドを導出できるか？
• RQ4 標本サイズが小さく次元が大きい場合、この手法はどの程度有効に保たれるか？
• RQ5 一般の共分散構造下で、明示的な誤差制御を伴う理論的裏付けを有するブートストラップ手順は可能か？

主な発見

• 提案されたブートストラップ手順は、$ \diamondsuit_3 \asymp m_r \frac{\operatorname{Tr}^3 \mathbf{\Sigma}}{\overline{g}_r^3} \sqrt{\frac{\log^3 n}{n} + \frac{\log^3 p}{n}} $ のオーダーの誤差バウンドを達成し、ブートストラップ近似の乖離を制御する。
• 確率 $ \mathbb{P} $ で少なくとも $ 1 - \frac{1}{n} $ の確率で、スペクトル射影子 $ \mathbf{P}_r $ の鋭い信頼集合を提供する。
• 誤差バウンドには、高次元ガウスベクトルの二乗ノルムに対する新しい反集中不等式が含まれ、最初の2つの固有値にのみ依存する。
• ブートストラップ近似誤差は、両側不等式でバウンドされる：$ \mathbb{P}^\circ(n\|\mathbf{P}_r^\circ - \widehat{\mathbf{P}}_r\|_2^2 > x) \leq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_-) + \frac{1}{n} $ および $ \geq \mathbb{P}^\circ(\|\xi^\circ\|_2^2 \geq x_+) - \frac{1}{n} $、ここで $ x_\pm = x \pm \diamondsuit_3 $。
• 理論的結果は、現実的な高次元設定下で良好な性能を示す数値実験によって裏付けられる。
• 本手法は高次元性および小標本サイズに対してロバストであり、PCA や高次元推論などの現代の統計的応用に適している。