[論文レビュー] Covariance Estimation: Optimal Dimension-free Guarantees for Adversarial Corruption and Heavy Tails

Pedro Pugliesi Abdalla, Nikita Zhivotovskiy|arXiv (Cornell University)|May 17, 2022

Random Matrices and Applications被引用数 4

ひとこと要約

本稿では、敵対的汚染および重尾分布のもとで、4つのモーメントの下で、次元に依存しない収束レートを達成するロバストな共分散推定量を提示する。弱いノルム同値性仮定の下で、正規分布と同等のサブガウスシャンプルの尾部バウンドを提供し、外れ値に対して耐性があり、次元ではなく効果的ランクに比例してスケーリングする。

ABSTRACT

We provide an estimator of the covariance matrix that achieves the optimal rate of convergence (up to constant factors) in the operator norm under two standard notions of data contamination: We allow the adversary to corrupt an $η$-fraction of the sample arbitrarily, while the distribution of the remaining data points only satisfies that the $L_{p}$-marginal moment with some $p \ge 4$ is equivalent to the corresponding $L_2$-marginal moment. Despite requiring the existence of only a few moments, our estimator achieves the same tail estimates as if the underlying distribution were Gaussian. As a part of our analysis, we prove a dimension-free Bai-Yin type theorem in the regime $p > 4$.

研究の動機と目的

• 敵対的汚染に対してロバストな共分散推定量を開発すること。ここで、最大η分のサンプルが任意に汚染されるものとする。
• 分布の4次のモーメントのみの仮定のもとで、対数因子を含まずに、オペレータノルムにおける最適な収束レートを達成すること。
• 環境次元dではなく、効果的ランクr(Σ)に比例することで、次元に依存しない保証を確保すること。
• 弱いノルム同値性（Lp–L2）仮定のもとで、高確率のバウンドを正規分布の場合と同等に得ること。
• 外れ値および重尾挙動に対するロバスト性と、対数因子や強い分布的仮定を必要としない最適な統計的レートの統合を達成すること。

提案手法

• 推定量は、サブ指数的および重尾分布に特化したロバストな平均推定技術を組み合わせたメジアン・オブ・ミーンズのアプローチにより構築される。
• p > 4の非漸近的・次元に依存しないBai–Yin型定理を活用し、対数因子なしにオペレータノルム収束を確立する。
• 外れ値を処理するための分位数に基づくトリミング機構を用い、η-汚染下でも安定性を保証する。
• 二乗内積の平均推定への還元を適用し、サブ指数的領域におけるロバストなメジアン・オブ・ミーンズ推定を用いる。
• 分析には、2 ≤ q ≤ p および p ≥ 4 に対して (E|⟨X,v⟩|^q)^{1/q} ≤ κ(q)(E|⟨X,v⟩|^2)^{1/2} を満たすノルム同値性仮定を用いる。
• 推定量は信頼水準δおよび汚染度ηに合わせてチューニングされ、正規分布と同等の高確率バウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 敵対的汚染下で、4つのモーメントの仮定のみのもとで、最適なオペレータノルム収束レートを達成できる共分散推定量は存在するか？
• RQ2 このような推定量が、環境次元dではなく、効果的ランクr(Σ)に比例する次元に依存しない保証を提供できるか？
• RQ3 弱いLp–L2ノルム同値性仮定のもとで、正規分布や対数コンカーブ分布を仮定しない状況でも、サブガウスの尾部バウンドを達成できるか？
• RQ4 サブガウス領域において、汚染度ηに対するη log(1/η)依存性が最適であるか？
• RQ5 収束レートに対数因子を含まずに、古典的漸近的結果に一致する形で推定量を構築できるか？

主な発見

• 提案された推定量は、p ≥ 4のモーメントの下で、オペレータノルムにおける最適な収束レート √(r(Σ)/N) を達成し、古典的なBai–Yin結果と一致する。
• 収束レートは次元に依存せず、環境次元dではなく、効果的ランクr(Σ)にのみ依存する。
• 弱いLp–L2ノルム同値性のもとで、サブガウスの尾部バウンドを提供する——正規分布仮定下での標本共分散と同等のパフォーマンスを達成する。
• 汚染度ηに対する最適な依存性を達成し、サブガウス領域ではタイトなη log(1/η)項が得られ、バウンドの鋭さが確認される。
• 非漸近的・次元に依存しないBai–Yin型定理をp > 4の範囲に拡張し、古典的結果を重尾および汚染された設定にまで拡張する。
• 推定量は敵対的汚染に対してロバストである：ηN個の汚染点が存在しても、N ≥ c(p)(r(Σ) + log(1/δ)) を満たす限り、誤差は高確率で有界のままである。