[論文レビュー] Clustering a Mixture of Gaussians with Unknown Covariance

Damek Davis, Mateo Díaz+1 more|arXiv (Cornell University)|Oct 4, 2021

Bayesian Methods and Mixture Models参考文献 89被引用数 6

ひとこと要約

本稿では、未知で、おそらく悪条件な共分散をもつ2つのガウス分布の混合分布のクラスタリングを目的とした、最尤推定に基づくMax-Cut整数計画法を提案する。この手法は次元に対して線形の標本サイズで最適な誤分類率を達成することを証明しており、同時に計算効率の良いスペクトル法も導入しているが、こちらは最適レートを達成するが二次の標本サイズを要する。これにより、統計的・計算的ギャップが生じる可能性が示唆される。

ABSTRACT

We investigate a clustering problem with data from a mixture of Gaussians that share a common but unknown, and potentially ill-conditioned, covariance matrix. We start by considering Gaussian mixtures with two equally-sized components and derive a Max-Cut integer program based on maximum likelihood estimation. We prove its solutions achieve the optimal misclassification rate when the number of samples grows linearly in the dimension, up to a logarithmic factor. However, solving the Max-cut problem appears to be computationally intractable. To overcome this, we develop an efficient spectral algorithm that attains the optimal rate but requires a quadratic sample size. Although this sample complexity is worse than that of the Max-cut problem, we conjecture that no polynomial-time method can perform better. Furthermore, we gather numerical and theoretical evidence that supports the existence of a statistical-computational gap. Finally, we generalize the Max-Cut program to a $k$-means program that handles multi-component mixtures with possibly unequal weights. It enjoys similar optimality guarantees for mixtures of distributions that satisfy a transportation-cost inequality, encompassing Gaussian and strongly log-concave distributions.

研究の動機と目的

• 2成分ガウス混合モデルにおいて、平均と共分散の両方が未知である場合に、近似的に線形の標本複雑性で最適なクラスタリング誤差率を達成できるかどうかという未解決問題に取り組む。
• 二次の標本サイズを要するが、最適な誤分類率を達成する計算効率の良いアルゴリズムを開発する。
• 未知の共分散をもつガウス混合分布のクラスタリングにおいて、統計的・計算的ギャップが存在するかを調査する。
• 不等な重みをもつ多成分混合分布に対応するk-means形式のプログラムへのMax-Cut定式化の一般化を試みる。
• 輸送コスト不等式を満たす分布（ガウス分布や強い対数凹型分布を含む）の下で、k-meansプログラムの最適性保証を確立する。

提案手法

• 共分散が未知で共通する2成分ガウス混合分布に対して、最尤推定に基づくMax-Cut整数計画法を定式化する。
• 標本サイズが次元に対して線形に増加する（対数因子を除いて）場合、Max-Cutプログラムの解がベイズ最適誤分類率を達成することを証明する。
• 最適誤差率を達成するが、二次の標本サイズを要するスペクトル法を構築し、計算上のボトル neck を示唆する。
• Max-Cutプログラムの一般化として、重みが不等な多成分混合分布に対応するk-meansに類似したプログラムを導入する。
• 輸送コスト不等式の下でk-meansプログラムの理論的保証を確立し、ガウス分布や強い対数凹型分布を含む。
• 高次元における漸近的状況下で、Max-Cutおよびスペクトル推定量の挙動を分析するために、集中不等式および幾何確率の道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 2成分ガウス混合モデルにおいて、平均と共分散の両方が未知である場合に、近似的に線形の標本複雑性でベイズ最適誤分類率を達成できるか？
• RQ2 未知の共分散のもとで、最適誤差率を達成する計算効率の良い推定量が存在するか？
• RQ3 未知の共分散をもつガウス混合分布のクラスタリングにおいて、最適誤差率を達成するには多項式時間アルゴリズムが処理可能な量より多くの標本が必要となるような統計的・計算的ギャップが存在するか？
• RQ4 Max-Cut定式化を重みが不等な多成分混合分布に対応する形に一般化できるか？
• RQ5 輸送コスト不等式を満たすようなより広範な分布的仮定のもとでも、提案された推定量が最適性を保つのか？

主な発見

• Max-Cut整数計画法は、次元に対して線形の標本サイズ（対数因子を除いて）で最適な誤分類率を達成する。
• スペクトル法は同じ最適誤差率を達成するが、二次の標本サイズを要するため、計算上のボトル neck が生じる可能性がある。
• 数値的および理論的証拠により、統計的・計算的ギャップが存在することが支持される。具体的には、Max-Cutアプローチの線形標本複雑性を満たす多項式時間アルゴリズムは存在しない。
• k-meansプログラムはMax-Cut定式化を多成分混合分布に一般化し、輸送コスト不等式の下で同様の最適性保証を達成する。
• 結果は、輸送コスト不等式を満たす分布（ガウス分布や強い対数凹型分布を含む）へと拡張可能であり、フレームワークの適用範囲を広げた。
• 本稿では、ベイズ最適誤差率がすべての推定量に対する下界であることを確立し、Max-Cut手法が最小の標本サイズでこの境界に達していることを示した。