[論文レビュー] How Hard Is Robust Mean Estimation?

Samuel B. Hopkins, Jerry Li|arXiv (Cornell University)|Mar 19, 2019

Machine Learning and Algorithms参考文献 29被引用数 8

ひとこと要約

この論文は、自然な分布的仮定の下で、現在の多項式時間アルゴリズムのロバスト平均推定における誤差率を向上させることは、計算的に非効率的である、複雑性理論的証拠を提示する。小集合拡張仮説の変種からの還元を用いて、√ε未満の誤差境界を達成することは、小集合拡張仮説を否定することを意味し、これは既存のアルゴリズムが多くの設定において多項式時間の枠組みの中で本質的に最適であることを示唆する。

ABSTRACT

Robust mean estimation is the problem of estimating the mean $μ\in \mathbb{R}^d$ of a $d$-dimensional distribution $D$ from a list of independent samples, an $ε$-fraction of which have been arbitrarily corrupted by a malicious adversary. Recent algorithmic progress has resulted in the first polynomial-time algorithms which achieve \emph{dimension-independent} rates of error: for instance, if $D$ has covariance $I$, in polynomial-time one may find $\hatμ$ with $\|μ- \hatμ\| \leq O(\sqrtε)$. However, error rates achieved by current polynomial-time algorithms, while dimension-independent, are sub-optimal in many natural settings, such as when $D$ is sub-Gaussian, or has bounded $4$-th moments. In this work we give worst-case complexity-theoretic evidence that improving on the error rates of current polynomial-time algorithms for robust mean estimation may be computationally intractable in natural settings. We show that several natural approaches to improving error rates of current polynomial-time robust mean estimation algorithms would imply efficient algorithms for the small-set expansion problem, refuting Raghavendra and Steurer's small-set expansion hypothesis (so long as $P eq NP$). We also give the first direct reduction to the robust mean estimation problem, starting from a plausible but nonstandard variant of the small-set expansion problem.

研究の動機と目的

• 現在の多項式時間アルゴリズムがロバスト平均推定において最適な誤差率に達しているかどうかを調査すること。
• サブガウスィアン分布または4次モーメントが有界な分布の下で、誤差率を向上させることは計算的に可能かどうかを特定すること。
• ロバスト平均推定と小集合拡張仮説（SSEH）との間の関係を確立すること。
• P ≠ NP を仮定した場合、より良い誤差率が小集合拡張仮説を否定することを複雑性理論的証拠として提供すること。
• SSEからロバスト推定問題への還元を強化するための新しいスペクトルグラフ理論的ツールを開発すること。

提案手法

• スペクトルグラフ理論を用いて、小集合拡張問題の変種をロバスト平均推定に還元する。
• 小集合拡張器のスペクトル埋め込みにおける小集合の新しい特徴付けを導入する。
• 2→qノルムの難易度の証明を、スペクトル的手法を用いて再解釈・簡略化する。
• ランダムウォークラウンディング技術を用いて、スペクトル埋め込みにおける大きな平均シフトを持つ小集合を特定する。
• モーメント条件と固有値の境界を用いて、ベクトルノルムと平均推定誤差との関係を関係づける。
• 局所的チーハー不等式を用いて拡張性の性質を証明し、誤差率の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 サブガウスィアン分布または4次モーメントが有界な仮定の下で、多項式時間アルゴリズムがロバスト平均推定において√ε未満の誤差率を達成できるか。
• RQ2 ロバスト平均推定における現在の誤差率の向上を妨げる計算的障壁は存在するか。
• RQ3 小集合拡張仮説がロバスト推定問題における難易度をどの程度示唆するか。
• RQ4 スペクトル埋め込みを用いて、高次元データにおけるレジリエンス性や有界モーメントを証明できるか。
• RQ5 分布的制約の下で、2→qノルムの難易度とロバスト平均推定との関係は何か。

主な発見

• 現在の多項式時間ロバスト平均推定器の誤差率を√ε未満に改善することは、小集合拡張仮説を否定することを意味する。
• Steinhardtらのレジリエンス仮定の下で、√ε未満の誤差率を達成する効率的アルゴリズムが存在するならば、それは強化された形の小集合拡張仮説を否定することを意味する。
• 本論文は、妥当な小集合拡張問題の変種からロバスト平均推定への直接還元を初めて提供する。
• スペクトル埋め込みにおける小集合のスペクトル的特徴付けにより、2→qノルム難易度の簡略化および一般化された証明が可能になった。
• sub-√ε誤差率を達成するには、小集合拡張と同等の難易度の問題を解く必要があり、これは困難であると広く信じられている。
• 結果から、多くの自然な分布的設定において、現在の多項式時間アルゴリズムがロバスト平均推定において誤差率の観点で本質的に最適であると考えられる。