[論文レビュー] Robust Modifications of U-statistics and Applications to Covariance Estimation Problems

Stanislav Minsker, Xiaohan Wei|arXiv (Cornell University)|Jan 17, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用数 9

ひとこと要約

本稿では、最小限のモーメント仮定（具体的には4次のモーメント）のもとで、共分散行列推定に対するタイトな非漸近的偏差バウンドを実現するため、演算子値関数のU統計量のロバストな修正を導入する。提案された推定量は、重い尾を持つ分布に対しても最適な演算子ノルム収束速度を達成し、メジアン・オブ・ミーンズおよびロバストM推定量の手法により、高確率的保証を有する。

ABSTRACT

Let $Y$ be a $d$-dimensional random vector with unknown mean $μ$ and covariance matrix $Σ$. This paper is motivated by the problem of designing an estimator of $Σ$ that admits tight deviation bounds in the operator norm under minimal assumptions on the underlying distribution, such as existence of only 4th moments of the coordinates of $Y$. To address this problem, we propose robust modifications of the operator-valued U-statistics, obtain non-asymptotic guarantees for their performance, and demonstrate the implications of these results to the covariance estimation problem under various structural assumptions.

研究の動機と目的

• データが重い尾を持つ、または外れ値を含む可能性がある高次元設定における共分散行列推定の課題に対処すること。
• 古典的手法で一般的に用いられる強い分布仮定（例：サブガウス分布、楕円対称性）への依存を軽減すること。
• 最小限のモーメント条件のもとで、非漸近的かつ高確率的偏差バウンドを演算子ノルムで得ること。
• 共分散推定のための、スカラーからマトリックス値関数へのロバストM推定量の原則の拡張。
• 計算効率性を確保し、共分散推定を越えて、構造的推定問題への応用可能性を高めること。

提案手法

• メジアン・オブ・ミーンズおよびハッバー型M推定量の原則を用いて、演算子値関数のU統計量のロバストな修正を導入する。
• 尾の挙動を制御するため、切断と対称化に基づくロバスト化技術をマトリックス値関数のU統計量に適用する。
• 重い尾を持つ分布下でも安定した推定を実現するため、メジアン・オブ・ミーンズフレームワークを用い、サブガウス的集中を達成する（サブガウス的尾を持たないまま）。
• マトリックス集中不等式および自己正規化過程を活用して、演算子ノルムの偏差に関する高確率的バウンドを導出する。
• 正則化された最小化問題を通じて共分散行列のロバスト推定量を構築する：$\widetilde{\Sigma}_{\star}^{\tau} = \arg\min_S \left[ \|S - \widetilde{\Sigma}_{\star}\|_F^2 + \tau \|S\|_1 \right] $、ここで$\widetilde{\Sigma}_{\star}$はロバストな標本共分散行列である。
• マトリックス値関数の経験過程理論およびマトリックス・チェルノフ型不等式の新規応用を通じて、理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 4次モーメントしか存在しない条件下で、U統計量のロバストな修正が演算子ノルムにおいてタイトな非漸近的偏差バウンドを達成できるか？
• RQ2 メジアン・オブ・ミーンズ手法をマトリックス値関数のU統計量にどのように適合させれば、重い尾を持つ分布下でもロバスト性を確保できるか？
• RQ3 弱いモーメント仮定のもとで、共分散推定におけるロバスト性と推定精度の最適なトレードオフは何か？
• RQ4 提案されたロバスト推定量は、高次元においても最適な収束速度を達成しながら、計算効率を維持できるか？
• RQ5 ロバストU統計量は、古典的手法（例：MCD、MVE、タイラー推定量）と比較して、統計的性能および分布仮定の観点で優位性を示すか？

主な発見

• 提案されたロバストU統計量推定量は、4次モーメントの仮定のもとで、確率 $ 1 - (2(d_1 + d_2) + 1)e^{-t} $ 以上で、$ \|\bar{U}_n^\star - \mathcal{D}(\mathbb{E}H)\| \leq 15\sigma\sqrt{t/k} $ の演算子ノルム偏差バウンドを達成する。
• 共分散推定において、ロバスト推定量 $ \widetilde{\Sigma}_{\star}^{\tau} $ は、$ \tau \geq \gamma \cdot 138\sqrt{K}\|\Sigma\|\sqrt{\frac{\mathrm{r}(\Sigma)(t + \Xi)}{\lfloor n/2 \rfloor}} $ のとき、高確率的バウンド $ \Pr(\mathcal{E}) \geq 1 - (4d + 1)e^{-t} $ を満たし、正確な回復を保証する。
• この手法は、4次モーメント仮定のもとで、ミニマックス下界と一致する最適な収束速度を達成する。
• ロバスト推定量は、分布が重い尾を持つ場合でも安定性と精度を維持し、このような条件下で古典的手法を上回る性能を示す。
• 理論的分析により、ロバストU統計量フレームワークが共分散推定を越えて、ス parser または低ランク共分散回復などの構造的推定問題にも適用可能であることが確認された。
• 凸最適化により効率的な計算が可能であり、最終的な推定量は核ノルムペナルティを伴う正則化最小二乗問題の解として得られる。