[論文レビュー] A Unified Approach to Robust Mean Estimation

Adarsh Prasad, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Jul 1, 2019

Control Systems and Identification参考文献 37被引用数 16

ひとこと要約

本稿は、Huberの$\epsilon$-contaminationモデルとヘビーテール分布モデルの両設定において、近似的に最適な統計的性能を達成できる、計算的に効率的な推定器を1つに統合する。理論的関係を確立することで、最小限のモーメント仮定のもとで、高確率でサブガウス型の誤差バウンドを達成する。提案手法は、標本のプルーニングと射影に基づく区間推定を用い、高次元での$\ell_2$誤差を制御する。

ABSTRACT

In this paper, we develop connections between two seemingly disparate, but central, models in robust statistics: Huber's epsilon-contamination model and the heavy-tailed noise model. We provide conditions under which this connection provides near-statistically-optimal estimators. Building on this connection, we provide a simple variant of recent computationally-efficient algorithms for mean estimation in Huber's model, which given our connection entails that the same efficient sample-pruning based estimators is simultaneously robust to heavy-tailed noise and Huber contamination. Furthermore, we complement our efficient algorithms with statistically-optimal albeit computationally intractable estimators, which are simultaneously optimally robust in both models. We study the empirical performance of our proposed estimators on synthetic datasets, and find that our methods convincingly outperform a variety of practical baselines.

研究の動機と目的

• Huberの$\epsilon$-contaminationモデルとヘビーテール分布モデルという2つの中心的なロバスト統計モデルの間の理論的・実用的ギャップを埋めること。
• 両モデルにおいて同時に最適な統計的レートを達成できる、計算的に効率的な推定器を開発すること。
• 計算的に非効率な最適推定器の実用的代替手段を提供しつつ、強固な理論的保証を維持すること。
• 合成データ上で既存のベースラインと比較して、提案手法の実験的妥当性を検証し、両設定（敵対的汚染およびヘビーテール設定）で優れた性能を示すこと。

提案手法

• 本手法は、$\epsilon$-contaminationモデルとヘビーテールモデルの間の理論的関係を確立し、特定の条件下で1つのモデルに対してロバストな推定器が、他方のモデルに対してもロバストであることを示す。
• 射影を用いたユニットベクトルへの射影と、1次元のロバスト区間推定器を用いた区間推定に基づく、標本プルーニング型推定器を導入する。
• $\ell_2$誤差を制御するため、ユニット球のネット被覆を用い、ネットの要素に対する和集合による不等式を用いて高確率保証を達成する。
• 外れ値の影響を制御するための条件付き分散バウンドをキーパートとして用いる。
• $\ell_2$誤差の変分表現を適用し、多次元推定問題を一連の1次元のロバスト推定問題に還元する。
• 幾何学的メジアン・オブ・メーンズのアイデアと、精密化された区間推定器を組み合わせることで、有限分散仮定のもとでサブガウス型の誤差レートを達成する。

実験結果

リサーチクエスチョン

• RQ1 1つの推定器が、Huberの$\epsilon$-contaminationモデルとヘビーテールモデルの両設定において、近似的に最適な統計的性能を達成できるか？
• RQ2 $\epsilon$-contaminationモデルとヘビーテールモデルの間の接続を、最適な推定器を導くために何が条件となるか？
• RQ3 有限分散仮定のもとで、サブガウス型の誤差バウンドを達成できる、計算的に効率的なアルゴリズムをどのように設計できるか？
• RQ4 実用的で標本プルーニングに基づく推定器は、敵対的汚染およびヘビーテール設定の両方で、既存のベースラインを上回る性能を示せるか？
• RQ5 ロバストな平均推定において、計算効率と統計的最適性のトレードオフは何か？

主な発見

• 提案された推定器は、高確率で、$\sqrt{\frac{\text{trace}(\Sigma)\log(1/\delta)}{n}}$のオーダーのサブガウス型誤差バウンドを達成し、サブガウス仮定下での最適レートと一致する。
• 本手法は、計算的に非効率な最適推定器の代替手段として、両モデルで近似的に最適な性能を達成する。
• 合成データ上の実験的評価により、提案手法はヘビーテール設定および汚染設定の両方で、実用的ベースラインを一貫して上回ることが示された。
• 理論的分析により、射影方向に対して誤差が$O\left(\sigma_u \max(2\epsilon, \frac{\log(1/\tilde{\delta})}{n})^{1-1/(2k)}\right)$で抑えられ、ネット被覆による高確率制御が可能であることが示された。
• 有限分散仮定のもとでも最適なレートを達成でき、サブガウスバウンドの適用範囲をサブガウス分布に限定せず拡張した。
• 2つのモデル間の接続により、1つのアルゴリズムがヘビーテールノイズおよび敵対的汚染の両方に対してロバストである統一フレームワークを実現した。