[論文レビュー] Robustly Clustering a Mixture of Gaussians

Jia He, Santosh Vempala|arXiv (Cornell University)|Nov 26, 2019

Bayesian Methods and Mixture Models参考文献 27被引用数 4

ひとこと要約

本稿では、最小限の分離仮定（平均または共分散の分離）の下で、2つの混合ガウス分布を効率的にかつロバストにクラスタリングするためのアルゴリズムを提示する。同定可能性基準として、等方的配置とフィッシャー判別法に基づく新規な基準を導入し、固定次数のSum-of-Squares凸緩和を用いる。本手法は近似的に最適な分離要件を達成し、強い対数凸分布へも拡張可能であり、全変動距離による分離でもクラスタリングが可能であることが示された。

ABSTRACT

We give an efficient algorithm for robustly clustering of a mixture of two arbitrary Gaussians, a central open problem in the theory of computationally efficient robust estimation, assuming only that the the means of the component Gaussians are well-separated or their covariances are well-separated. Our algorithm and analysis extend naturally to robustly clustering mixtures of well-separated strongly logconcave distributions. The mean separation required is close to the smallest possible to guarantee that most of the measure of each component can be separated by some hyperplane (for covariances, it is the same condition in the second degree polynomial kernel). We also show that for Gaussian mixtures, separation in total variation distance suffices to achieve robust clustering. Our main tools are a new identifiability criterion based on isotropic position and the Fisher discriminant, and a corresponding Sum-of-Squares convex programming relaxation, of fixed degree.

研究の動機と目的

• ロバスト推定における中心的未解決問題に取り組むこと：計算的に現実的な仮定の下で、2つのガウス混合分布の効率的かつロバストなクラスタリングを実現すること。
• 依然として信頼性のあるクラスタリングが可能な最小限の成分間分離条件を同定し、情報理論的限界に近づくこと。
• ガウス分布を超えて、良好に分離された強い対数凸分布の混合物へもクラスタリングフレームワークを拡張すること。
• 固定次数のSum-of-Squares緩和を用いた凸最適化ベースの手法を開発し、保証付きの性能を達成すること。

提案手法

• データを等方的配置に変換し、フィッシャー判別法を適用することで、成分を分離する新規な同定可能性基準を導入する。
• 固定次数のSum-of-Squares（SOS）凸プログラミング緩和を用いて、クラスタリング問題を効率的に解く。
• 平均または共分散の分離が超平面に基づく分離を満たすならば、ロバストなクラスタリングが可能であることを示す。
• 2次多項式カーネルを用いて、共分散の分離条件を特徴付ける。
• ガウス分布の場合に、成分間の全変動距離がロバストなクラスタリングを保証するために十分であることを示す。
• 強い対数凸分布の性質を活用して、本手法をガウス分布を超えて拡張する。

実験結果

リサーチクエスチョン

• RQ1 2つのガウス分布間の最小分離条件は何か？ それが依然として効率的かつロバストなクラスタリングを可能にするか？
• RQ2 等方的配置におけるフィッシャー判別法は、ガウス混合分布のロバストな同定可能性基準として機能できるか？
• RQ3 本アルゴリズムは、強い対数凸分布の混合物へどの程度一般化可能か？
• RQ4 ガウス混合分布において、成分間の全変動距離がロバストなクラスタリングを保証するために十分か？
• RQ5 固定次数のSum-of-Squares緩和は、最小限の分離条件下で保証付きのクラスタリング性能を達成できるか？

主な発見

• 本アルゴリズムは、情報理論的最小限に近い分離条件（平均または共分散の分離）のもとでロバストなクラスタリングを達成する。
• 等方的配置とフィッシャー判別法に基づく同定可能性基準により、成分間の分離が最小限であっても効果的な分離が可能である。
• 本手法は、良好に分離された強い対数凸分布の混合物へ自然に一般化可能である。
• 成分間のガウス分布の全変動距離が、ロバストなクラスタリングを保証するために十分である。
• 固定次数のSum-of-Squares緩和は、計算的に効率的かつ保証付きの正しい解を提供する。
• 共分散の分離条件は2次多項式カーネルにおける条件と同等であり、幾何的およびカーネルベースの視点を結びつける。