[論文レビュー] Mixture Models, Robustness, and Sum of Squares Proofs

Samuel B. Hopkins, Jerry Li|arXiv (Cornell University)|Nov 20, 2017

Machine Learning and Algorithms参考文献 42被引用数 5

ひとこと要約

本稿では、高次元における分離されたガウス・ミックスチャネル・モデルの学習およびロバスト平均推定のための新しい多項式時間アルゴリズムを開発するために、平方和（SoS）手法を導入する。統一された半正定値計画（SDP）を用いることで、認証されたモーメント境界を介して構造的サブセットを捉えることにより、ガウス・ミックスチャネルの長年の $k^{1/4}$ 分離障壁を打ち破り、ロバスト推定において $ε^{1-1/t}$ の誤差を達成する。

ABSTRACT

We use the Sum of Squares method to develop new efficient algorithms for learning well-separated mixtures of Gaussians and robust mean estimation, both in high dimensions, that substantially improve upon the statistical guarantees achieved by previous efficient algorithms. Firstly, we study mixtures of $k$ distributions in $d$ dimensions, where the means of every pair of distributions are separated by at least $k^{\varepsilon}$. In the special case of spherical Gaussian mixtures, we give a $(dk)^{O(1/\varepsilon^2)}$-time algorithm that learns the means assuming separation at least $k^{\varepsilon}$, for any $\varepsilon > 0$. This is the first algorithm to improve on greedy ("single-linkage") and spectral clustering, breaking a long-standing barrier for efficient algorithms at separation $k^{1/4}$. We also study robust estimation. When an unknown $(1-\varepsilon)$-fraction of $X_1,\ldots,X_n$ are chosen from a sub-Gaussian distribution with mean $μ$ but the remaining points are chosen adversarially, we give an algorithm recovering $μ$ to error $\varepsilon^{1-1/t}$ in time $d^{O(t^2)}$, so long as sub-Gaussian-ness up to $O(t)$ moments can be certified by a Sum of Squares proof. This is the first polynomial-time algorithm with guarantees approaching the information-theoretic limit for non-Gaussian distributions. Previous algorithms could not achieve error better than $\varepsilon^{1/2}$. Both of these results are based on a unified technique. Inspired by recent algorithms of Diakonikolas et al. in robust statistics, we devise an SDP based on the Sum of Squares method for the following setting: given $X_1,\ldots,X_n \in \mathbb{R}^d$ for large $d$ and $n = poly(d)$ with the promise that a subset of $X_1,\ldots,X_n$ were sampled from a probability distribution with bounded moments, recover some information about that distribution.

研究の動機と目的

• 球面上のガウス・ミックスチャネルの多項式時間クラスタリングにおける長年の限界である $k^{1/4}$ 分離障壁を克服すること。
• 非ガウス的かつサブガウス分布の情報理論的誤差限界に近い、多項式時間のロバスト平均推定アルゴリズムを開発すること。
• 平方和（SoS）手法を用いて、混合モデル学習とロバスト推定を統一的な枠組みで捉えること。
• 高次元データにおける敵対的汚染下でも、良いサンプルや成分クラスタなどの構造的サブセットの学習に対して、証明可能な保証を提供すること。
• SoS証明を用いて、$O(t)$ 階までのサブガウス分布のモーメント境界を認証することにより、より強いアルゴリズム的保証を実現すること。

提案手法

• 高次元データの有界な経験的モーメントを持つ構造的サブセットを回復するための、平方和（SoS）に基づく半正定値計画（SDP）を定式化する。
• SoS証明を用いて、良いデータサブセット（例：サブガウス分布からのもの）の経験的モーメントが、$O(t)$ 階まで有界性条件を満たすことを認証する。
• 平均および重み変数をモデル化する多項式方程式から導かれる線形制約を満たす疑似期待値演算子を構築する。
• SoS正定値公理を活用して、平均とデータポイントを含む多項式形式の下界を導出し、真のモーメント境界と整合性を保つ。
• 集中不等式（例：Berry-Esseen）を用いて、有界モーメント仮定の下で、良いサンプルの経験的モーメントが真のモーメントに集中することを示す。
• 敵対的汚染を扱うためにSoSフレームワークを修正し、全経験的平均の代わりに汚染されていないサブセットの平均を用いる。また、汚染下での平均シフトの安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 平方和（SoS）手法は、球面上のガウス・ミックスチャネルの多項式時間クラスタリングにおいて、$k^{1/4}$ 分離障壁を打ち破ることができるか？
• RQ2 非ガウス的サブガウス分布に対して、多項式時間で $ε^{1/2}$ より優れた誤差を達成できるロバスト平均推定が可能か？
• RQ3 混合モデル学習とロバスト推定を、構造的サブセット回復を通じて統一するSoSに基づくフレームワークが存在するか？
• RQ4 SoS証明を用いて、サブガウス的尾部を持つ分布の $O(t)$ 階までのモーメントが有界であることを認証できるか？
• RQ5 ロバスト推定において、アルゴリズムの実行時間は、所望の誤差許容値 $ε$ とモーメント次数 $t$ に対してどのようにスケーリングされるか？

主な発見

• $k$ 個の成分と少なくとも $k^{\varepsilon}$ の平均分離を持つ球面上のガウス・ミックスチャネルに対して、本アルゴリズムは $(dk)^{O(1/\varepsilon^2)}$ 時間で実行され、平均を正しく学習でき、従来の効率的アルゴリズムの $k^{1/4}$ 障壁を打ち破る。
• $ε$-汚染下でのロバスト平均推定において、本アルゴリズムは時間 $d^{O(t^2)}$ で真の平均を $ε^{1-1/t}$ の誤差で回復し、以前の方法の $ε^{1/2}$ 限界を上回る。
• 非ガウス的サブガウス分布に対して、情報理論的にほぼ最適な誤差を達成する。これは、多項式時間アルゴリズムとして初めての成果である。
• 本手法は、認証されたモーメント境界を介して、混合成分とロバスト推定における良いサンプルを統一的に捉えるSoSベースのSDPに依存している。
• 敵対的汚染に対して耐性がある。なぜなら、$ε n$ 個の外れ値が除去された後でも、SoS証明を用いてモーメント条件を検証できるからである。
• 多くの自然な分布に対して、$O(t)$ 階までのサブガウス的モーメントがSoS証明で認証可能であるという仮定の下で、理論的保証が確立されている。