[論文レビュー] Sharp bounds on the rate of convergence of the empirical covariance matrix

Radosław Adamczak, Alexander E. Litvak+2 more|arXiv (Cornell University)|Dec 1, 2010

Point processes and geometric inequalities参考文献 7被引用数 47

ひとこと要約

この論文は、対数凸性またはサブ指数的尾部を示す高次元確率的ベクトルに対して、標本共分散行列の収束速度に関する鋭い非漸近的バウンドを確立する。ネットの議論とモーメント不等式を用いて、非常に高い確率で、標本共分散行列の正規化された極値特異値が、$ C(\psi + K)^2 \sqrt{n/N} $ のオーダーの偏差内で 1 のまわりに集中することを証明する。これは、i.i.d. 要素に限られていた Bai-Yin の定理を、多くの従属的かつ非同一分布のベクトルにまで拡張するものである。

ABSTRACT

Let $X_1,..., X_N\\in\\R^n$ be independent centered random vectors with log-concave distribution and with the identity as covariance matrix. We show that with overwhelming probability at least $1 - 3 \\exp(-c\\sqrt{n}\ )$ one has $ \\sup_{x\\in S^{n-1}} \\Big|\\frac{1/N}\\sum_{i=1}^N (|<X_i, x>|^2 - \\E|<X_i, x>|^2\ )\\Big| \\leq C \\sqrt{\\frac{n/N}},$ where $C$ is an absolute positive constant. This result is valid in a more general framework when the linear forms $(<X_i,x>)_{i\\leq N, x\\in S^{n-1}}$ and the Euclidean norms $(|X_i|/\\sqrt n)_{i\\leq N}$ exhibit uniformly a sub-exponential decay. As a consequence, if $A$ denotes the random matrix with columns $(X_i)$, then with overwhelming probability, the extremal singular values $\\lambda_{\ m min}$ and $\\lambda_{\ m max}$ of $AA^\ op$ satisfy the inequalities $ 1 - C\\sqrt{{n/N}} \\le {\\lambda_{\ m min}/N} \\le \\frac{\\lambda_{\ m max}/N} \\le 1 + C\\sqrt{{n/N}} $ which is a quantitative version of Bai-Yin theorem \\cite{BY} known for random matrices with i.i.d. entries.

研究の動機と目的

• 高次元における標本共分散行列の収束速度に関する非漸近的で鋭いバウンドを確立すること。
• 従来 i.i.d. 要素に対してのみ知られていた Bai-Yin の定理を、従属的または非同一分布の要素を持つ確率的行列へと拡張すること。
• 対数凸性ベクトルに対して過去の結果に含まれていた対数因子を除去し、最適な $ \sqrt{n/N} $ のレートを達成すること。
• 一般のモーメントおよび尾部条件の下で、標本共分散行列 $ AA^T $ の極値特異値の集中を分析すること。
• $ n \leq N $ の範囲で有効な、標本共分散行列が単位行列からどれほど離れるかを定量的に高確率で制御するバウンドを提供すること。

提案手法

• 連続集合上の上界を有限近似によって制御するため、単位球面 $ S^{n-1} $ に $ 1/3 $-ネットを用いる。
• 標本過程を三つの部分に分解する：切り詰められた部分、中程度の尾部部分、大偏差部分。各部分を別々にバウンドする。
• Bernstein の不等式を用いて切り詰められた部分 $ S_1(x) $ を制御し、線形形式の一様な $ \psi_1 $-ノルムバウンドを活用する。
• 先行研究からの定理 2 を用いて中程度の尾部部分 $ S_2(x) $ を制御し、スパースなインデックス集合上の射影の最大 $ \ell^2 $-ノルムに依存する。
• Hölder の不等式と $ \psi_1 $-ノルム条件からの指数的尾部バウンドを用いて、大偏差部分 $ S_3(x) $ を推定する。
• 和集合のバウンドとチェインジングの議論を組み合わせ、ネットから全球面への制御を拡張する。この際、作用素ノルムの比較を用いる。

実験結果

リサーチクエスチョン

• RQ1 非 i.i.d. で従属的な高次元ベクトルに対して、標本共分散行列の収束速度に関する鋭い非漸近的バウンドを確立できるか？
• RQ2 ガウス行列では既知の $ \sqrt{n/N} $ の収束レートが、i.i.d. 要素に限らず、より広い分布のクラスへと拡張可能か？
• RQ3 対数凸性ベクトルに対して過去の結果に含まれていた対数因子を除去し、最適なレートを達成できるか？
• RQ4 極値特異値 $ \lambda_{\min} $ と $ \lambda_{\max}} $ が $ N $ のまわりに集中するための十分なモーメントおよび尾部条件は何か？
• RQ5 一様な $ \psi_1 $-ノルムと有界性条件が、高次元設定における収束速度にどのように影響を与えるか？

主な発見

• 確率 $ 1 - 2\exp(-c\sqrt{n}) $ 以上で、正規化された標本共分散行列は、すべての $ x \in S^{n-1} $ に対して、$ \left| \frac{1}{N}\sum_{i=1}^N (|\langle X_i, x\rangle|^2 - \mathbb{E}|\langle X_i, x\rangle|^2) \right| \leq C(\psi + K)^2 \sqrt{n/N} $ を満たす。
• $ AA^T $ の極値特異値 $ \lambda_{\min} $ と $ \lambda_{\max}} $ は、非常に高い確率で、$ 1 - C(\psi + K)^2\sqrt{n/N} \leq \lambda_{\min}/N \leq \lambda_{\max}/N \leq 1 + C(\psi + K)^2\sqrt{n/N} $ を満たす。
• 一様な $ \psi_1 $-ノルム条件と定数 $ K $ による有界性条件が満たされていれば、この結果は成り立つ。この条件は、対数凸性の等方的ベクトルおよび $ \ell_2^n $-球面上の一様分布ベクトルによって満たされる。
• 過去の研究に見られた対数因子を除去し、最適な $ \sqrt{n/N} $ のレートを達成しており、ガウス分布の場合と一致する。
• この手法は、要素が従属的であったり、ベクトルが非同一分布であったりする場合にも適用可能であり、古典的な Bai-Yin の定理を顕著に一般化する。
• 分析は、標本過程の分解とネットに基づくチェインジングに依存しており、尾部推定はモーメントおよび指数的尾部バウンドによって制御される。