[論文レビュー] Estimation of the covariance structure of heavy-tailed distributions

Stanislav Minsker, Xiaohan Wei|arXiv (Cornell University)|Aug 1, 2017

Advanced Statistical Methods and Models参考文献 23被引用数 22

ひとこと要約

この論文は、4次のモーメントが有限であることを前提として、重たい尾を持つ分布に対して頑健な共分散行列推定量を提案する。ランダム行列理論とメディアン・オブ・ミーンズ手法を活用し、埋め込み次元ではなく内在次元に依存するタイトな集中不等式を達成する。これにより、弱いモーメント仮定のもとでも高次元設定において強力な理論的保証が得られる。

ABSTRACT

We propose and analyze a new estimator of the covariance matrix that admits strong theoretical guarantees under weak assumptions on the underlying distribution, such as existence of moments of only low order. While estimation of covariance matrices corresponding to sub-Gaussian distributions is well-understood, much less in known in the case of heavy-tailed data. As K. Balasubramanian and M. Yuan write, "data from real-world experiments oftentimes tend to be corrupted with outliers and/or exhibit heavy tails. In such cases, it is not clear that those covariance matrix estimators .. remain optimal" and "..what are the other possible strategies to deal with heavy tailed distributions warrant further studies." We make a step towards answering this question and prove tight deviation inequalities for the proposed estimator that depend only on the parameters controlling the "intrinsic dimension" associated to the covariance matrix (as opposed to the dimension of the ambient space); in particular, our results are applicable in the case of high-dimensional observations.

研究の動機と目的

• 高次元設定における重たい尾を持つ分布のための頑健な共分散推定手法の不足を解消すること。
• たとえば4次のモーメントしか存在しないような最小限のモーメント仮定のもとでも、強力な理論的保証を持つ推定量を開発すること。
• バイアスを引き起こすフィルタリング手順やヒューリスティックな前処理ステップに依存しないこと。
• 推定誤差の依存関係を埋め込み次元ではなく、内在次元に置き換えること。
• 重たい尾の条件のもとで、古典的な標本共分散推定量の理論的裏付けと計算的に実行可能な代替手法を提供すること。

提案手法

• データをサブセットに分割し、各サブセットで標本共分散行列を計算するメディアン・オブ・ミーンズ推定量を提案する。
• パーティション全体における標本共分散行列の中央値を用いることで、重たい尾の外れ値への感受性を低減する。
• ランダム行列理論のツールを用いて推定量の集中不等式を導出する。
• 推定量の作用素ノルムの偏差を、内在次元パラメータに依存する形で評価する。
• 尾の挙動を制御し、モーメント条件を満たすために、しきい値パラメータ θ を用いた打ち切り機構を導入する。
• 核ノルムとフロベニウスノルムの性質を活用して、推定誤差の一様な境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 4次のモーメント仮定のもとでも、強い集中性を保つ共分散推定量を構築できるか？
• RQ2 推定誤差が埋め込み次元に依存するのを、内在次元に依存するものに置き換える方法は何か？
• RQ3 高次元設定において、重たい尾への頑健性と統計的効率性の最適なトレードオフは何か？
• RQ4 尾の挙動の事前知識や外れ値除去を必要とせず、計算的に実行可能な推定量を設計できるか？
• RQ5 弱い分布的仮定のもとで、このような推定量に対してどのような理論的保証（例：偏差境界）を証明できるか？

主な発見

• 提案された推定量は、推定誤差の作用素ノルムに対して指数的かつタイトな偏差境界を達成する。
• 偏差境界は埋め込み次元ではなく、共分散行列の内在次元にのみ依存するため、高次元設定への適用が可能になる。
• 4次のモーメントが存在する場合でも、推定量は強い集中性を維持する。これは、従来のサブガウス型や有界分布の仮定よりも仮定を大幅に弱める。
• 推定誤差の上界は、$ \sigma_0^2 \leq R^2 \|\Sigma_0\| \cdot \mathrm{tr}(\Sigma_0) $ の形をとり、ここで $ R $ は尖度を制御するものであり、$ \sigma_0^2 $ は $ \mathbb{E}[XX^T \|X\|_2^2] $ の最大固有値である。
• 推定量は外れ値や重たい尾に対して頑健であり、データ前処理やバイアスを引き起こすフィルタリング手順を必要としない理論的保証を持つ。
• 有効次元に最適な依存関係を達成しており、サブガウス型設定における既知のミニマックスレートと一致するタイトな境界によって裏付けられる。