[論文レビュー] Recent Advances in Algorithmic High-Dimensional Robust Statistics

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Nov 14, 2019

Advanced Statistical Methods and Models参考文献 55被引用数 91

ひとこと要約

この調査は、強い汚染下での頑健な高次元統計に関する核となる考え方とアルゴリズム技術を概説し、特に強い汚染下での頑健な平均推定、安定性条件、そして2つの主要なアルゴリズム的アプローチ（凸計画と反復的アウトライア除去）に焦点を当てる。

ABSTRACT

Learning in the presence of outliers is a fundamental problem in statistics. Until recently, all known efficient unsupervised learning algorithms were very sensitive to outliers in high dimensions. In particular, even for the task of robust mean estimation under natural distributional assumptions, no efficient algorithm was known. Recent work in theoretical computer science gave the first efficient robust estimators for a number of fundamental statistical tasks, including mean and covariance estimation. Since then, there has been a flurry of research activity on algorithmic high-dimensional robust estimation in a range of settings. In this survey article, we introduce the core ideas and algorithmic techniques in the emerging area of algorithmic high-dimensional robust statistics with a focus on robust mean estimation. We also provide an overview of the approaches that have led to computationally efficient robust estimators for a range of broader statistical tasks and discuss new directions and opportunities for future work.

研究の動機と目的

• 外れ値および経験的平均が機能しない高次元設定の下での学習を動機づける。
• 強い汚染モデルを提示し、頑健推定の情報理論的限界を論じる。
• 頑健な平均推定のコアアルゴリズム技術を紹介し、安定性、凸計画、反復的剪定を含む。
• 射影を通じて高次元問題を1次元の頑健な平均推定の集合へ還元する方法を示す。

提案手法

• すべての大きな部分集合およびすべての方向に対して成り立つべき安定性条件（epsilon, delta）を導入する。
• データの共分散行列のトップ固有ベクトルを用いて、異常なアウトライヤ振る舞いのある方向を検出する。
• 安定性を活用して平均を回復する凸最適化ベースの推定量を開発する。
• 安定性の仮定の下で動作する反復的アウトライア除去手法を開発する。
• 高次元の頑健な平均推定を射影による1次元の頑健推定の集合へ還元する。
• 射影上で一変量の頑健推定値（中央値、トリミド平均）を適用して高次元推定量を構築する。

実験結果

リサーチクエスチョン

• RQ1 強い汚染の下で設計できる、計算的に効率的で次元に依存しない誤差推定量は何か？
• RQ2 汚染下の高次元における頑健な平均推定の情報理論的限界は？
• RQ3 射影を通じて高次元の頑健推定を頑健な1次元問題へ還元するには？
• RQ4 安定性を満たす多項式時間推定量が正確な平均を保証する分布仮定は何か？

主な発見

• 汚染下の高次元平均推定に対する次元非依存の誤差を持つ最初の多項式時間頑健推定量が開発された（初期の研究を引用）。
• 安定性条件は、満たされれば経験的平均が定量的証明（補題2.4）によって真の平均に近いことを保証する。
• 共謀的なアウトライヤを検出するには、破損データの共分散のトップ固有ベクトルを調べることでアウトライヤ除去を導く。
• 2つの関連するアルゴリズム的アプローチが提示される： (i) 凸計画ベースの推定量、(ii) 反復的アウトライヤ除去手法。
• 射影上の1次元の頑健推定へ還元することで頑健な平均推定を得られる。ガウス様の尾を持つ場合には中央値で十分であり、共分散が有界な場合にはトリミド平均はほぼ最適な誤差境界をもたらす。