[論文レビュー] Outlier Robust Mean Estimation with Subgaussian Rates via Stability

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 30, 2020

Statistical Methods and Inference参考文献 36被引用数 11

ひとこと要約

この論文は、有限分散の仮定の下で、計算的に効率的な外れ値に頑健な平均推定を、近似サブガウスチアンレートで達成するための安定性条件が有効であることを確立している。安定性と単純な事前処理手順（バケッティング）を活用することで、著者らは、強力な汚染モデルにおいて最適なサブガウスチアン誤差レートを達成する最初の効率的アルゴリズムを設計し、長年の統計的最適性と計算効率のギャップを解消した。

ABSTRACT

We study the problem of outlier robust high-dimensional mean estimation under a finite covariance assumption, and more broadly under finite low-degree moment assumptions. We consider a standard stability condition from the recent robust statistics literature and prove that, except with exponentially small failure probability, there exists a large fraction of the inliers satisfying this condition. As a corollary, it follows that a number of recently developed algorithms for robust mean estimation, including iterative filtering and non-convex gradient descent, give optimal error estimators with (near-)subgaussian rates. Previous analyses of these algorithms gave significantly suboptimal rates. As a corollary of our approach, we obtain the first computationally efficient algorithm with subgaussian rate for outlier-robust mean estimation in the strong contamination model under a finite covariance assumption.

研究の動機と目的

• 有限分散と悪意ある外れ値の下で、高次元における頑健な平均推定における統計的最適性と計算効率のギャップを埋めること。
• 安定性に基づくアルゴリズムが、強力な汚染モデルにおいて近似サブガウスチアン誤差レートを達成できることを示すこと。
• 有限分散仮定の下で、強力な汚染モデルにおいて、最初の計算的に効率的なアルゴリズムを提供すること。
• 安定性の役割を、元の分布が無限大のサポートを持つ場合でさえも最適レートを達成する上で分析すること。
• 誤差レートにおける対数因子が、方法そのものに起因するのか、それとも事前処理の欠如に起因するのかを調査すること。

提案手法

• 著者らは、最近の頑健統計の文献から標準的な安定性条件を分析し、高確率で多数のインライヤーがこの条件を満たすことを示した。
• 強力な汚染モデルの下で、安定なインライヤー集合が指数的に小さい失敗確率で存在することを証明した。
• 無限大のサポートを持つ分布を扱うために、事前処理手順（バケッティングまたは打ち切り）を適用した。
• この方法は、集中不等式と安定性補題（例：補題4.3, 4.4, 4.5）に依存し、重み付き分布における分散と平均偏差を制限する。
• 分散、平均、安定性の保証における失敗事象の和集合を用いることで、高確率の結果を達成した。
• 最終的な推定器は、反復フィルタリングまたは非凸勾配降下法によって構築され、安定性条件の下で最適なサブガウスチアン誤差レートを達成することが証明された。

実験結果

リサーチクエスチョン

• RQ1 安定性に基づくアルゴリズムは、有限分散と強力な汚染の下で、サブガウスチアン誤差レートを達成できるか？
• RQ2 有限分散仮定のみで、強力な汚染モデルにおいて最適なサブガウスチアンレートを達成する計算的に効率的なアルゴリズムは存在するか？
• RQ3 従来の安定性に基づく手法における誤差レートの対数因子は、方法そのものに起因するのか、それとも事前処理の欠如に起因するのか？
• RQ4 事前処理なしに、安定性条件だけを用いて、一般に無限大のサポートを持つ場合でもサブガウスチアンレートを達成できるか？
• RQ5 安定性に基づく推定でサブガウスチアンレートを達成するために必要な最小のモーメント仮定は何か？

主な発見

• 高確率で、多数のインライヤーが安定性条件を満たし、その失敗確率は指数的に小さい。
• 提案されたアルゴリズムは、形式 $ O(σ√{d/n} + √{\log(1/\tau)/n}) $ のサブガウスチアン誤差レートを達成し、最適な情報理論的レートと一致する。
• 有限分散仮定の下で、強力な汚染モデルにおいて、最初の計算的に効率的なサブガウスチアンレートのアルゴリズムが達成された。
• 無限大のサポートを扱うために、単純な事前処理手順（打ち切り／バケッティング）を用い、これが最適レートを達成するために不可欠であることが示された。
• 誤差レートにおける対数因子は、$\epsilon = \Omega(1)$ のときには除去可能であることが示され、一般には必要ではない可能性がある。
• 解析により、反復フィルタリングおよび非凸勾配降下法が、安定集合上で初期化された場合に最適レートを達成することが確認された。