[論文レビュー] Large Dimensional Analysis and Optimization of Robust Shrinkage Covariance Matrix Estimators

Romain Couillet, Matthew R. McKay|arXiv (Cornell University)|Jan 16, 2014

Random Matrices and Applications参考文献 21被引用数 10

ひとこと要約

本稿は、大次元設定下でタイラーのM推定量とヘドリット＝ウルフの絶縁化を組み合わせることにより、頑健な共分散行列推定量の最適な縮小戦略を開発する。ランダム行列理論を用いて、経験的手法よりも顕著に推定精度を向上させる、漸近的に最適な縮小パラメータを導出する。特に、高次元、外れ値に頑健、小標本の条件下で顕著な改善効果を示す。

ABSTRACT

This article studies two regularized robust estimators of scatter matrices proposed (and proved to be well defined) in parallel in (Chen et al., 2011) and (Pascal et al., 2013), based on Tyler's robust M-estimator (Tyler, 1987) and on Ledoit and Wolf's shrinkage covariance matrix estimator (Ledoit and Wolf, 2004). These hybrid estimators have the advantage of conveying (i) robustness to outliers or impulsive samples and (ii) small sample size adequacy to the classical sample covariance matrix estimator. We consider here the case of i.i.d. elliptical zero mean samples in the regime where both sample and population sizes are large. We demonstrate that, under this setting, the estimators under study asymptotically behave similar to well-understood random matrix models. This characterization allows us to derive optimal shrinkage strategies to estimate the population scatter matrix, improving significantly upon the empirical shrinkage method proposed in (Chen et al., 2011).

研究の動機と目的

• 標本サイズが小さく、外れ値が存在する状況下で大次元共分散行列を推定する課題に対処する。
• 経験的縮小手法を改善するため、解析的に最適な縮小パラメータを導出する。
• i.i.d. 楕円対称分布からの標本抽出下で、頑健な縮小推定量とよく理解されたランダム行列モデルとの間の漸近的同等性を確立する。
• 確率的収束結果を用いて、高次元頑健統計における最適な縮小の理論的基盤を提供する。
• N ≈ n である大次元領域における頑健推定と縮小技術の間のギャップを埋める。

提案手法

• タイラーのM推定量とヘドリット＝ウルフの縮小を組み合わせた2つのハイブリッド頑健な縮小推定量（アブラモビッチ–パーシャル推定量とチェン推定量）を提案する。
• 大次元ランダム行列理論を適用し、N, n → ∞ かつ N/n → c ∈ (0,1) の下での推定量の漸近的挙動を特徴付ける。
• 暗黙の式とスペクトルノルム収束を用いて、推定量に含まれるトレースおよび二次形式の決定的同等物を導出する。
• 想定された漸近的設定下で、経験的縮小パラメータがその決定的同等物にほとんど確実に収束することを確立する。
• 平均二乗誤差の決定的近似を最小化することで縮小パラメータを最適化し、閉形式の解を得る。
• 連続写像および収束の議論を用いて、最適な縮小パラメータおよびその結果得られる推定量が、それぞれの決定的極限にほとんど確実に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 N ≈ n である高次元領域において、頑健な縮小共分散推定量はどのように漸近的に振る舞うか？
• RQ2 先行研究で用いられた経験的縮小パラメータは、決定的で漸近的に最適な代替手法によって改善可能か？
• RQ3 i.i.d. 楕円対称分布からの標本抽出下で、頑健な縮小推定量の漸近的分布は何か？
• RQ4 タイラー推定量による頑健性とヘドリット＝ウルフによる縮小の相互作用は、有限標本における推定精度にどのように影響するか？
• RQ5 ランダム行列理論を用いて、最適な縮小パラメータを解析的に導出可能か？ また、経験的手法を上回る性能を示すか？

主な発見

• 提案された最適な縮小パラメータは、ほとんど確実に、漸近的平均二乗誤差を最小化する決定的極限に収束する。
• 頑健な縮小推定量の漸近的挙動は、ランダム行列理論から導出された決定的同等物によって特徴付けられ、正確な解析が可能になる。
• チェンら（2011）が提案した経験的手法よりも、漸近的同等性および収束結果による妥当性を確認した上で、推定精度が顕著に向上する。
• 縮小パラメータが理論的最適値にほとんど確実に収束するため、大次元設定下でも一貫した性能を示す。
• 縮小パラメータの決定的同等物は、母集団分布のスペクトルモーメントを含む暗黙の式を用いて明示的に導出される。
• 推定量に含まれるトレースおよび二次形式の収束は、正規化された標本統計量が母集団対応物にほとんど確実に収束することによって確立される。