[論文レビュー] Sub-Gaussian estimators of the mean of a random vector

Gábor Lugosi, Shahar Mendelson|arXiv (Cornell University)|Feb 1, 2017

Statistical Methods and Inference参考文献 12被引用数 8

ひとこと要約

本稿では、第二モーメントの存在のみを仮定して、完全にサブガウス型の集中を達成する、新しい多変量メジアンの概念に基づく多変量平均推定量を提案する。この推定量はデータをブロックに分割し、各ブロックの平均を計算した後、メジアンに類似した選択ルールを適用することで、サブガウス型または軽尾仮定を必要とせずに最適な乖離バウンドを保証する。

ABSTRACT

We study the problem of estimating the mean of a random vector $X$ given a sample of $N$ independent, identically distributed points. We introduce a new estimator that achieves a purely sub-Gaussian performance under the only condition that the second moment of $X$ exists. The estimator is based on a novel concept of a multivariate median.

研究の動機と目的

• 高次元の確率的ベクトルに対する平均推定量を開発し、サブガウス型の尾部挙動を達成するが、サブガウス型または軽尾分布を仮定しないこと。
• サンプル平均のような古典的推定量の限界を克服し、重い尾部や重い尾部に類似した分布下でも性能が著しく低下することを防ぐこと。
• 1次元のメジアン・オブ・ミーンズ推定量を多変量設定に拡張し、証明可能なサブガウス型の性能保証を有すること。
• 第二モーメントの存在のみを仮定する最小限の条件下で、ロバスト性を保証する多変量メジアンに基づく推定のための新しい理論的枠組みを確立すること。

提案手法

• 既存の研究で用いられる幾何的メジアンに代えて、各ブロック平均への二乗距離の和を最小化するという新しい多変量メジアンの概念を提案する。
• 標本を $ k $ 個のブロックに分割し、各ブロック $ j \in \{1, \dots, k\} $ に対して、標本平均 $ Z_j $ を計算する。
• 候補推定量 $ \widehat{\mu}_N $ を、$ \|Z_j - v\| \geq \|Z_j - \mu\| $ を満たすブロック数が最小となる点 $ v \in \mathbb{R}^d $ として定義する。これは、真の平均 $ \mu $ を大多数のブロックで「上回る」点を選択する、実質的な「勝者」の選定ルールである。
• 有界差分不等式に基づく集中の議論を用いて、推定量が高確率でサブガウス型の尾部バウンドを満たすことを示す。
• 推定量の真の平均からの乖離を制御するために、新規の対称化および対称化された経験プロセス技術を用いる。
• もし $ \|a - \mu\| \geq r $ ならば、$ a $ は高確率で半数以上のブロックで $ \mu $ よりも劣る、という重要な不等式を導出する。これにより、ロバストな推定量の構築が可能になる。

実験結果

リサーチクエスチョン

• RQ1 第二モーメントの存在のみを仮定して、サブガウス型の尾部バウンドを達成する多変量平均推定量を構築することは可能か？
• RQ2 1次元のメジアン・オブ・ミーンズの原則を多変量設定に一般化する方法は何か？ その際、最適な統計的性能を維持できるか？
• RQ3 サブガウス型の集中とロバスト性を保証する新しい多変量メジアン概念の理論的基盤は何か？
• RQ4 幾何的メジアンやサンプル平均と比較して、この新しいメジアンに基づくアプローチを用いた平均推定における計算的・統計的トレードオフは何か？

主な発見

• 提案された推定量はサブガウス型の尾部バウンドを達成する：確率 $ 1 - \delta $ 以上で、$ \|\widehat{\mu}_N - \mu\| \leq C \sqrt{ \frac{\mathrm{Tr}(\Sigma)}{N} + \frac{\lambda_{\max} \log(1/\delta)}{N} } $ が成り立つ。ここで $ C $ は普遍定数である。
• 推定量は、共分散行列 $ \Sigma $ の存在のみを仮定しており、サブガウス型または軽尾の尾部を仮定しない。
• 任意の $ \delta \in (0,1) $ に対して、推定量は $ \delta $ に最適な依存関係を持つ乖離バウンドを満たす。これはサブガウス型の場合と一致する。
• 推定量はロバストである：重い尾部の設定下ではサンプル平均を上回り、サブガウス型仮定下ではサンプル平均と同等の性能を示す。
• 理論的分析は、新しい対称化技術と有界差分不等式に依拠しており、推定量の乖離を制御する。
• 本稿では、新しいメジアン概念が、高次モーメントが無限大であっても、最適な集中を保証する一貫した推定量を導くことを確立している。