[論文レビュー] Robust Covariance and Scatter Matrix Estimation under Huber's Contamination Model

Mengjie Chen, Chao Gao+1 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Statistical Methods and Models参考文献 63被引用数 16

ひとこと要約

本稿では、Huberのε-混合モデルにおける外れ値に対して耐性を持つよう、経験的深度を最大化する新しい行列の深さ関数に基づく頑健な共分散行列推定量を提案する。この推定量は、高次元設定下で、バンド行列、スパース行列、低ランク行列といった構造的共分散行列に対して最小最大最適な収率を達成し、統計的効率性と高い破壊点を両立する。

ABSTRACT

Covariance matrix estimation is one of the most important problems in statistics. To accommodate the complexity of modern datasets, it is desired to have estimation procedures that not only can incorporate the structural assumptions of covariance matrices, but are also robust to outliers from arbitrary sources. In this paper, we define a new concept called matrix depth and then propose a robust covariance matrix estimator by maximizing the empirical depth function. The proposed estimator is shown to achieve minimax optimal rate under Huber's $ε$-contamination model for estimating covariance/scatter matrices with various structures including bandedness and sparsity.

研究の動機と目的

• 外れ値を含む高次元設定下における古典的共分散推定量の頑健性の欠如に対処する。
• 任意の外れ値に対して耐性を持つ一方で統計的効率性を維持するフレームワークを構築する。
• 共分散推定のためのマルチバリアント一般化として、行列の深さを導入する。
• 構造的共分散行列に対するε-混合モデル下での提案推定量の最小最大最適性を確立する。
• 異なる構造の間で最小最大収率を統一的に表現し、古典的誤差成分と混合由来誤差成分の両方の依存関係を示す。

提案手法

• 正定値行列Γの行列の深さを、単位ベクトルuに対するP(|uᵀX|² ≤ uᵀΓu)とP(|uᵀX|² ≥ uᵀΓu)の最小値の下限として定義し、方向的逸脱に対する頑健性を捉える。
• 正定値行列の空間上で経験的行列の深さ関数を最大化することにより、頑健な推定量を提案する。
• 得られた推定量Γ̂を用いてΣ̂ = Γ̂ / βと定義し、βを正規モデル下での一貫性を保証するスケーリング定数とする。
• 集中不等式と作用素ノルムの境界を活用することで、バイアス-バリアンスのトレードオフを介して理論的保証を確立する。
• バンド行列、スパース行列、低ランク行列といった構造的モデルに適応するため、単位球面を関連する部分空間またはスパースパターンに制限する。
• Weylの不等式とDavis-Kahan定理を適用し、低ランク構造におけるスペクトル誤差および部分空間誤差の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 深さに基づく推定量は、Huberのε-混合モデル下で高次元共分散推定において最小最大最適性を達成できるか？
• RQ2 提案された行列の深さ関数は、古典的推定量と比較して、頑健性と効率性の両面で優れているか？
• RQ3 ε-混合モデル下での構造的共分散行列（例：バンド行列、スパース行列）における最小最大収率は何か？ また、異なるモデル間で統一できるか？
• RQ4 スパース性やバンド構造といった構造的制約を組み込む際に、行列の深さフレームワークは頑健性を損なわず適応可能か？
• RQ5 作用素ノルムにおける最適収率を達成しつつ、高破壊点を維持できるか？

主な発見

• 提案された行列の深さに基づく推定量は、ε-混合モデル下でバンド行列およびバンド可能な共分散行列に対して最小最大最適な収率を達成する。
• スパース共分散行列の場合、推定量は収率O((s log(ep/s))/n ∨ ε²)を達成する。ここでsはスパース性のレベルを表す。
• 低ランク共分散行列に対しても、推定量は最小最大最適性を維持し、誤差境界は(s log(ep/s))/n ∨ ε²のスケーリングに従う。
• ε-混合モデル下での最小最大収率は、M(ε) ≍ max{M(0), ω(ε, F)}として統一され、M(0)は古典的最小最大収率、ω(ε, F)は混合由来誤差を捉える。
• 深さに基づく構築により、推定量は高い破壊点を有し、任意の外れ値に対して耐性を示す。
• 理論的解析により、推定量の作用素ノルム誤差がC(ε + √((k + log m)/n) + ||Σₖ − Σ||_op)で有界であることが確認され、ここでk = ⌈n^(1/(2α+1))⌉ ∧ pはバンドモデルに対応する。