[論文レビュー] Outlier-Robust Clustering of Non-Spherical Mixtures

Ainesh Bakshi, Pravesh K. Kothari|arXiv (Cornell University)|May 6, 2020

Bayesian Methods and Mixture Models参考文献 30被引用数 16

ひとこと要約

本稿では、統計的に最小の条件である全変動（TV）距離による分離に関して、初めての効率的で外れ値に頑健な混合正規分布のクラスタリングアルゴリズムを提示する。低次の多項式の証明可能超合同性および反濃度化を活用することで、誤分類誤差が $k^{O(k)}(ε + \eta)$ である $d^{\operatorname{poly}(k/\eta)}$ 時間のクラスタリングが達成され、成分が同じ平均を持つが未知の方向に共分散が異なる場合でさえも有効である。

ABSTRACT

We give the first outlier-robust efficient algorithm for clustering a mixture of $k$ statistically separated d-dimensional Gaussians (k-GMMs). Concretely, our algorithm takes input an $ε$-corrupted sample from a $k$-GMM and whp in $d^{ ext{poly}(k/η)}$ time, outputs an approximate clustering that misclassifies at most $k^{O(k)}(ε+η)$ fraction of the points whenever every pair of mixture components are separated by $1-\exp(- ext{poly}(k/η)^k)$ in total variation (TV) distance. Such a result was not previously known even for $k=2$. TV separation is the statistically weakest possible notion of separation and captures important special cases such as mixed linear regression and subspace clustering. Our main conceptual contribution is to distill simple analytic properties - (certifiable) hypercontractivity and bounded variance of degree 2 polynomials and anti-concentration of linear projections - that are necessary and sufficient for mixture models to be (efficiently) clusterable. As a consequence, our results extend to clustering mixtures of arbitrary affine transforms of the uniform distribution on the $d$-dimensional unit sphere. Even the information-theoretic clusterability of separated distributions satisfying these two analytic assumptions was not known prior to our work and is likely to be of independent interest. Our algorithms build on the recent sequence of works relying on certifiable anti-concentration first introduced in the works of Karmarkar, Klivans, and Kothari and Raghavendra, and Yau in 2019. Our techniques expand the sum-of-squares toolkit to show robust certifiability of TV-separated Gaussian clusters in data. This involves giving a low-degree sum-of-squares proof of statements that relate parameter (i.e. mean and covariances) distance to total variation distance by relying only on hypercontractivity and anti-concentration.

研究の動機と目的

• 成分が唯一全変動（TV）距離で分離されている場合に、$k$-次元ガウス混合分布（$k$-GMM）の効率的で外れ値に頑健なクラスタリングアルゴリズムを開発すること。
• 効率的クラスタリングに必要かつ十分な解析的条件——証明可能超合同性および反濃度化——を同定し、形式化すること。
• 低次の合計平方（SoS）証明によるパラメータ距離とTV距離の不等式を用いて、TV分離ガウスクラスタの頑健な証明可能性を示すようにSoSフレームワークを拡張すること。
• アルゴリズムがガウス分布に限らず、$d$-次元単位球面上の均一分布の任意のアフィン変換の混合にも適用可能であることを示すこと。
• これらの解析的条件を満たす分布の情報理論的クラスタビリティを解明すること。これは、以前は未知であった。

提案手法

• アルゴリズムは、パラメータ距離（平均および共分散）と全変動距離との関係を示す不等式の低次のSoS証明を構築するために合計平方（SoS）法を用いる。
• 外れ値に対して頑健であることを保証するため、線形射影の証明可能反濃度化および2次多項式の証明可能超合同性に依存する。
• ガウスの超合同性を用いて、定数倍の損失を伴う行列不等式 $\|AB\|_F^2 \leq \|A\|_{op}^2 \|B\|_F^2$ の低次のSoS版を証明する。
• SoSフレームワークにおけるキャンセル補題により、不定元の累乗を含む不等式の簡略化が可能となり、制約下での頑健な推論が可能になる。
• 外れ値を処理するため、部分的クラスタリングを再帰的に適用することで、$d^{\operatorname{poly}(k/\eta)}$ 時間での効率的実行時間を達成する。
• 非球形成分を扱うために、Frobenius距離における頑健な共分散推定をサブルーチンとして確立する。

実験結果

リサーチクエスチョン

• RQ1 成分が唯一全変動距離で分離されている場合に、$k$-ガウス混合分布のための効率的で外れ値に頑健なクラスタリングアルゴリズムを設計可能か？
• RQ2 外れ値が存在する状況下で、$k$-GMMの効率的クラスタリングに必要なかつ十分な解析的性質は何か？
• RQ3 低次の2次多項式の集中と反濃度化にのみ依存するSoSフレームワークを拡張し、TV分離クラスタの頑健な証明可能性を示せるか？
• RQ4 証明可能超合同性および反濃度化を満たす分布の情報理論的クラスタビリティは成立するか？ また、それをアルゴリズム的に実現可能か？
• RQ5 アルゴリズムをガウス分布を超えて、$d$-次元球面上の均一分布の任意のアフィン変換の混合に一般化可能か？

主な発見

• アルゴリズムは、TV分離下で $d^{\operatorname{poly}(k/\eta)}$ 時間で $k$-GMMのクラスタリングを実行し、誤分類誤差は $k^{O(k)}(\varepsilon + \eta)$ 以下である。
• TV分離は、クラスタリングが情報理論的に可能となる最小の既知の分離条件であり、成分が同じ平均を持つが未知の方向に共分散が異なる場合でも、アルゴリズムは有効である。
• 本稿では、2次多項式の証明可能超合同性および反濃度化が、$k$-GMMの効率的クラスタリングに必要かつ十分であることを確立した。
• 結果は、$d$-次元単位球面上の均一分布の任意のアフィン変換の混合にまで拡張可能であり、ガウス分布を超える一般化が達成された。
• 本研究では、2次モーメントおよび反濃度化の性質にのみ依存する、パラメータ距離と全変動距離の不等式を低次のSoSで証明する初の結果を提供した。
• アルゴリズムは $\varepsilon$-分率の完全に敵対的な外れ値に対しても頑健であり、固定された $k$ に対して $d$ に関して多項式時間で実行可能である。$k=2$ の場合でも同様に成り立つ。