[論文レビュー] Concentration Inequalities and Moment Bounds for Sample Covariance Operators

Vladimir Koltchinskii, Karim Lounici|arXiv (Cornell University)|May 10, 2014

Point processes and geometric inequalities参考文献 11被引用数 14

ひとこと要約

この論文は、中心化されたガウス型ランダムベクトルを想定した場合、可分なバナッハ空間における標本共分散作用素の作用素ノルムに関する鋭い集中不等式およびモーメントバウンドを確立する。偏差 $\Vert\hat{\Sigma}-\Sigma\Vert$ がその平均のまわりに集中するようになるが、そのレートは作用素ノルム $\|\Sigma\|$ と有効次元 $\mathbf{r}(\Sigma)$ に依存し、ガウス型等周問題と洗練されたチェインジング技術を用いることで、低次元および高次元の両 regime においてもきめ細かなバウンドが得られる。

ABSTRACT

Let $X,X_1,\dots, X_n,\dots$ be i.i.d. centered Gaussian random variables in a separable Banach space $E$ with covariance operator $Σ:$ $$ Σ:E^{\ast}\mapsto E,\ \ Σu = {\mathbb E}\langle X,u angle, u\in E^{\ast}. $$ The sample covariance operator $\hat Σ:E^{\ast}\mapsto E$ is defined as $$ \hat Σu := n^{-1}\sum_{j=1}^n \langle X_j,u angle X_j, u\in E^{\ast}. $$ The goal of the paper is to obtain concentration inequalities and expectation bounds for the operator norm $\|\hat Σ-Σ\|$ of the deviation of the sample covariance operator from the true covariance operator. In particular, it is shown that $$ {\mathbb E}\|\hat Σ-Σ\|\asymp \|Σ\|\biggl(\sqrt{\frac{{\bf r}(Σ)}{n}}\bigvee \frac{{\bf r}(Σ)}{n}\biggr), $$ where $$ {\bf r}(Σ):=\frac{\Bigl({\mathbb E}\|X\|\Bigr)^2}{\|Σ\|}. $$ Moreover, under the assumption that ${\bf r}(Σ)\lesssim n,$ it is proved that, for all $t\geq 1,$ with probability at least $1-e^{-t}$ \begin{align*} \Bigl|\|\hatΣ- Σ\|-{\mathbb E}\|\hatΣ- Σ\|\Bigr| \lesssim \|Σ\|\biggl(\sqrt{\frac{t}{n}}\bigvee \frac{t}{n}\biggr). \end{align*}

研究の動機と目的

• 可分なバナッハ空間における標本共分散作用素の作用素ノルム $\|\hat{\Sigma}-\Sigma\|$ に対する漸近的でない集中不等式およびモーメントバウンドを導出すること。
• 作用素ノルム $\|\Sigma\|$ と有効次元 $\mathbf{r}(\Sigma)$ を用いて、標本共分散作用素の真の共分散作用素からの偏差を特徴付けること。
• 共分散構造の内蔵された複雑さに適応する鋭い尾部バウンドを確立し、特に低ランクと高ランクの両 regime を区別すること。
• ガウス分布の仮定の下で、ガウス過程理論および経験過程理論の道具を用いて、標本共分散作用素の漸近的でない解析を提供すること。

提案手法

• 分析は、作用素ノルム $\|\hat{\Sigma}-\Sigma\|$ の集中バウンドを導出するためのガウス型等周不等式に依存している。
• 有効次元 $\mathbf{r}(\Sigma) := \frac{(\mathbb{E}\|X\|)^2}{\|\Sigma\|}$ が、偏差のレートを支配する主要なパラメータとして導入されている。
• 二段階のアプローチが用いられる：まずモーメント推定を用いて粗いバウンドを導出し、その後、集中とチェインジング技術を繰り返し適用して改善する。
• 証明では、関数族上の経験過程の上限を制御するために、一般化されたチェインジングバウンドとオルリッチノルム（例：$\psi_2$-ノルム）が用いられている。
• $X$ がガウス分布に従うという事実を用いて、サブガウス的尾部を保証し、サブ指数的確率変数に対するベルンシュタイン型不等式を適用している。
• 別途、ガウス型コアスとゴードン＝シェーヴェット不等式を用いた代替的証明も議論されており、一般化されたチェインジングに依存しない道筋を提供している。

実験結果

リサーチクエスチョン

• RQ1 高次元または無限次元のバナッハ空間において、作用素ノルム $\|\hat{\Sigma}-\Sigma\|$ はその平均のまわりにどのように集中するか？
• RQ2 有効次元 $\mathbf{r}(\Sigma)$ は、標本共分散作用素の収束レートを決定する上で果たす役割は何か？
• RQ3 有限次元的または低ランク構造を仮定しないで、$\|\hat{\Sigma}-\Sigma\|$ に対して鋭い漸近的でないバウンドを導出可能か？
• RQ4 有効次元 $\mathbf{r}(\Sigma) \leq n$ と $\mathbf{r}(\Sigma) \geq n$ の場合にバウンドはどのように変化し、推定のレジームに何を示唆するか？
• RQ5 一般化されたチェインジングや、ガウス型コアスなどの代替的手法をどれほど活用して、これらのバウンドを導出できるか？

主な発見

• 期待値の作用素ノルムの偏差は、$\mathbb{E}\|\hat{\Sigma}-\Sigma\| \asymp \|\Sigma\|\left(\sqrt{\frac{\mathbf{r}(\Sigma)}{n}} \vee \frac{\mathbf{r}(\Sigma)}{n}\right)$ を満たし、有効次元に鋭い依存性を示している。
• $\mathbf{r}(\Sigma) \leq n$ の場合、高確率 $1 - e^{-t}$ で、偏差は $\left|\|\hat{\Sigma}-\Sigma\| - M\right| \lesssim \|\Sigma\|\left(\sqrt{\frac{t}{n}} \vee \frac{t}{n}\right)$ を満たす。ここで $M$ は中央値または期待値である。
• $\mathbf{r}(\Sigma) \geq n$ の場合、高確率バウンドは $\left|\|\hat{\Sigma}-\Sigma\| - M\right| \lesssim \|\Sigma\|\left(\sqrt{\frac{\mathbf{r}(\Sigma)}{n}}\sqrt{\frac{t}{n}} \vee \frac{t}{n}\right)$ に変化し、高複雑度のレジームでは遅い収束レートを反映している。
• 結果はガウス型等周不等式と洗練されたチェインジング技術を用いて導出されており、別途ガウス型コアスとゴードン＝シェーヴェット不等式による代替的証明も提示されている。
• バウンドは鋭く、共分散作用素の内蔵された複雑さに適応しており、有効次元 $\mathbf{r}(\Sigma)$ が自然な複雑さパラメータとして機能している。
• 解析はサブガウス的およびプレガウス的過程へも拡張可能であり、有効次元をレートに組み込むことで、以前のバウンドを一般化している。