[論文レビュー] User-Friendly Covariance Estimation for Heavy-Tailed Distributions

Yuan Ke, Stanislav Minsker+3 more|arXiv (Cornell University)|Nov 5, 2018

Statistical Distribution Estimation and Applications参考文献 27被引用数 8

ひとこと要約

本稿では、要素ごとのおよびスペクトルごとの截断を用いた、重たい尾を持つ分布に対する使いやすく、尾に頑健な共分散推定器を提案する。また、M-推定量の類似物を併用し、バイアス-頑健性のトレードオフを最適化する。主な貢献は、弱いモーメント仮定のもとで非漸近的偏差バウンドを保証するデータ駆動型チューニングパrameterのキャリブレーションであり、高次元設定における重たい尾を持つデータに対する信頼性の高い推論を可能にする。

ABSTRACT

We offer a survey of recent results on covariance estimation for heavy-tailed distributions. By unifying ideas scattered in the literature, we propose user-friendly methods that facilitate practical implementation. Specifically, we introduce element-wise and spectrum-wise truncation operators, as well as their $M$-estimator counterparts, to robustify the sample covariance matrix. Different from the classical notion of robustness that is characterized by the breakdown property, we focus on the tail robustness which is evidenced by the connection between nonasymptotic deviation and confidence level. The key observation is that the estimators needs to adapt to the sample size, dimensionality of the data and the noise level to achieve optimal tradeoff between bias and robustness. Furthermore, to facilitate their practical use, we propose data-driven procedures that automatically calibrate the tuning parameters. We demonstrate their applications to a series of structured models in high dimensions, including the bandable and low-rank covariance matrices and sparse precision matrices. Numerical studies lend strong support to the proposed methods.

研究の動機と目的

• 重たい尾を持つ分布において、古典的手法が非ガウス的尾のため失敗する状況でも、強固な有限標本性能を維持する頑健な共分散推定器の開発。
• 文献に散在するアイデアを統合し、実用的な頑健な共分散推定のための整合的フレームワークの構築。
• 標本サイズ、次元、ノイズレベルに適応する要素ごとのおよびスペクトルごとの截断演算子とそのM-推定量バージョンの導入。
• 信頼水準と偏差確率の相互作用によって定義される尾の頑健性を反映する非漸近的偏差バウンドの確立。
• チューニングパrameterのデータ駆動型キャリブレーションスキームの提案により、専門家による入力なしに自動的かつ使いやすい実装を可能にする。

提案手法

• 極端な固有値や要素を制限することで、標本共分散行列を頑健化する要素ごとのおよびスペクトルごとの截断演算子の提案。
• 弱いモーメント仮定のもとで頑健性を向上させるため、截断演算子のM-推定量バージョンの導入。
• 尾の頑健性を定量化する非漸近的偏差バウンドの導出。適応的チューニングを通じてバイアスと頑健性の最適なトレードオフを示す。
• 標本サイズ、次元、ノイズレベルに依存するデータ駆動型手続きを用いてチューニングパrameterをキャリブレートし、実用性を確保。
• バンド行列、低ランク、スパース精度行列といった構造的モデルへの応用により、高次元推論への応用範囲を拡張。
• 推定誤差の確率的バウンドを導出するため、平均値の定理、コーシー＝シュワルツの不等式、濃縮不等式などの理論的道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 非ガウス的尾の仮定に依存せず、重たい尾を持つデータに対して共分散推定をどのように頑健化できるか。
• RQ2 弱いモーメント条件下での共分散推定におけるバイアスと頑健性の最適なトレードオフは何か。
• RQ3 手動による選択を必要とせず、データを用いて自動的にチューニングパrameterをキャリブレートする方法は何か。
• RQ4 截断に基づくおよびM-推定量に基づく手法は、重たい尾を持つ分布のもとで非漸近的偏差保証を達成できるか。
• RQ5 バンド行列、低ランク、スパース精度行列といった構造的モデルにおいて、提案された推定器は高次元でどのように性能を発揮するか。

主な発見

• 提案された推定器は、$ O_{\mathbb{P}}(\sqrt{\log d / n} + d^{-1/2}) $ の非漸近的偏差バウンドを達成し、標本サイズと次元に適応する。
• データ駆動型チューニングパrameter選択により、バイアスと頑健性の最適なバランスが確保され、専門家によるチューニングなしに実用的実装が可能になる。
• 要素ごとのおよびスペクトルごとの截断演算子は、重たい尾を持つデータにおける確率的外れ値への感受性を顕著に低減する。
• M-推定量バージョンは弱いモーメント仮定のもとでよりタイトな偏差制御を提供し、有限標本において古典的手法を上回る性能を示す。
• 数値実験により、バンド行列、低ランク、スパース精度行列モデルにおいて強固な経験的性能が確認された。
• 理論的分析により、頑健化パrameterが標本サイズ、次元、ノイズレベルに適応する必要があることが確認され、最適な性能を達成するための条件である。