[論文レビュー] Robust covariance estimation under $L_4-L_2$ norm equivalence

Mendelson Shahar, Zhivotovskiy Nikita|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用数 9

ひとこと要約

本稿は、$L_4$-$L_2$ノルム同値性仮定（尖度が有界）の下で、ガウス分布設定と同等の最適性能を達成するロバストな共分散推定器を提示する。有効次元 $\mathbf{r}(Σ)$ に依存する高確率バインディングを提供し、サブガウス型および尖度が有界な状況において、既存の最良結果を改善する。

ABSTRACT

Let $X$ be a centered random vector taking values in $\mathbb{R}^d$ and let $Σ= \mathbb{E}(X\otimes X)$ be its covariance matrix. We show that if $X$ satisfies an $L_4-L_2$ norm equivalence, there is a covariance estimator $\hatΣ$ that exhibits the optimal performance one would expect had $X$ been a gaussian vector. The procedure also improves the current state-of-the-art regarding high probability bounds in the subgaussian case (sharp results were only known in expectation or with constant probability). In both scenarios the new bound does not depend explicitly on the dimension $d$, but rather on the effective rank of the covariance matrix $Σ$.

研究の動機と目的

• $L_4$-$L_2$ ノルム同値性（尖度が有界）の仮定の下で、最適な性能を達成する共分散推定器の開発を目的とする。
• サブガウス型の場合の共分散推定における高確率逸脱バインディングを改善し、期待値または定常確率でのみ鋭いとされていた既存の結果を上回ることを目的とする。
• 明示的な次元 $d$ 依存を、内因的次元性をよりよく反映する有効次元 $\mathbf{r}(\Sigma)$ への依存に置き換えることを目的とする。
• 高信頼度の状況において、標本平均推定器が劣っていることを示し、より優れた代替手法を提案することを目的とする。

提案手法

• 共分散推定をベクトル平均推定問題として扱うため、$W = X \otimes X$ を定義し、$\mathbb{E}[W] = \Sigma$ とし、$W_i = X_i \otimes X_i$ に対してロバスト平均推定を適用する。
• $\mathbb{E}[W]$ の中央値の平均に基づく推定器を導入し、サブガウス的尾を持たない場合でも、サブガウス的集中を達成する。
• 第四モーメントの二次形式の制御を可能にするために、$L_4$-$L_2$ ノルム同値性を分析に活用する。
• $\sqrt{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/N}$ および $\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/({\rm Tr}(\Sigma)N)$ に比例する高確率バインディングを導出し、明示的な $d$ 依存を回避する。
• 尖度が有界な仮定の下で、最小最大最適レートを対数要因を除き達成することが示される。
• 球面上のネットによる議論を用いた代替推定器を概説し、$d$ に依存するが、$\mathrm{Tr}(\Sigma)$ や $L$ の知識を必要としないバインディングを達成する。

実験結果

リサーチクエスチョン

• RQ1 $L_4$-$L_2$ ノルム同値性仮定の下で、ガウス分布ベクトルが期待する性能に匹敵する高確率逸脱バインディングを達成できる共分散推定器は存在するか？
• RQ2 高信頼度の状況において、標本共分散推定器は依然として最適であるか、それともより優れた代替手法を構築できるか？
• RQ3 高確率バインディングを、環境次元 $d$ の代わりに有効次元 $\mathbf{r}(\Sigma)$ に依存させるのは可能か？
• RQ4 サブガウス型または尖度が有界な設定において、有効次元と作用素ノルムの間のギャップは何か？ そして、推定にどのように影響するか？
• RQ5 $\mathrm{Tr}(\Sigma)$ や $L$ に依存しないが、最適レートを維持するロバスト推定器は存在するか？

主な発見

• $L_4$-$L_2$ ノルム同値性の下で、提案された推定器は、$\|\Sigma\| \left( \sqrt{\frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{N}} + \frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{{\rm Tr}(\Sigma) N} \right)$ のオーダーの高確率バインディングを達成する。これは、対数要因を除き最適である。
• バインディングは次元 $d$ に明示的に依存せず、高次元設定においてより情報を含む有効次元 $\mathbf{r}(\Sigma)$ のみに依存する。
• サブガウス型ベクトルの場合、新しいバインディングは、従来の結果を改善し、高確率性能が鋭くなることを達成する。これは、従来は期待値または定常確率でのみ知られていた。
• 標本平均推定器は、高信頼度の状況で劣っていることが、$R_X \ll \|\Sigma\|$ となる反例により示された。
• 本稿では、$R_X \geq \sqrt{\frac{\mathbf{r}(\Sigma) - 1}{d}} \|\Sigma\|$ を確立し、$R_X$ と $\|\Sigma\|$ の間のギャップが大きくなる可能性があることを示し、改善された推定器の必要性を正当化する。
• ネットによる議論を用いた代替推定器は、$\|\Sigma\| \sqrt{\frac{d + \log(1/\delta)}{N}}$ のオーダーのバインディングを達成する。これは $d$ に依存するが、$\mathrm{Tr}(\Sigma)$ や $L$ の知識を必要としない。