[論文レビュー] Recovery of a mixture of Gaussians by sum-of-norms clustering

Tao Jiang, Stephen A. Vavasis+1 more|arXiv (Cornell University)|Feb 19, 2019

Sparse and Compressive Sensing Techniques参考文献 8被引用数 5

ひとこと要約

本稿は、サンプル数 n が無限大に近づく際、和ノルムクラスタリングが混合ガウス分布を正確に回復できることを確立している。これは、従来の研究で必要とされていたサンプルサイズに依存する分離条件という制限を克服したものである。チケ・エイツェットらのクラスタ特徴定理を活用することで、等しい重みを用いた凸最適化定式化において、次元と重みに依存する固定された分離閾値の下で、クラスタがサンプルサイズに依存せずに分離可能であることを証明している。

ABSTRACT

Sum-of-norms clustering is a method for assigning $n$ points in $\mathbb{R}^d$ to $K$ clusters, $1\le K\le n$, using convex optimization. Recently, Panahi et al.\ proved that sum-of-norms clustering is guaranteed to recover a mixture of Gaussians under the restriction that the number of samples is not too large. The purpose of this note is to lift this restriction, i.e., show that sum-of-norms clustering with equal weights can recover a mixture of Gaussians even as the number of samples tends to infinity. Our proof relies on an interesting characterization of clusters computed by sum-of-norms clustering that was developed inside a proof of the agglomeration conjecture by Chiquet et al. Because we believe this theorem has independent interest, we restate and reprove the Chiquet et al.\ result herein.

研究の動機と目的

• 和ノルムクラスタリングによるガウス混合分布の回復保証において、サンプルサイズに依存する分離要件を排除すること。
• サンプル数 n → ∞ の極限においても、正確なクラスタ回復が可能であることを示すこと。
• 回復条件が、成分数 K、次元 d、最小重み w_min、最大標準偏差 σ_max のみに依存することを確立すること。
• チケ・エイツェットらの主要なクラスタ特徴定理を明確化し、独立した有用性を持つように再記述・再証明すること。

提案手法

• 和ノルムクラスタリング定式化を用いる：(1/2)Σ||x_i - a_i||² + λΣ||x_i - x_j|| を x_i ∈ ℝ^d で最小化する。
• クラスタメンバーシップと幾何的分離および部分勾配条件を結びつけるクラスタ特徴定理（定理1）を適用する。
• チェルノフの不等式を用いて、高確率で各ガウス成分から少なくとも1つのサンプルが、部分勾配条件によるクラスタ分離が満たされる領域に存在することを示す。
• 最適性条件に対する三角不等式を用いて、||x_i* - x_j*|| の下界を導出し、平均の分離が閾値を超えると異なるクラスタが保証されることを示す。
• クラスタ回復の十分条件を導出：||μ_m - μ_m'|| > 16dσ_max / (c_d w_min)，ここで c_d → 1 は d の増加に伴い指数関数的に近づく。
• 球状ガウス分布の対称性と尾部確率の性質を用いて、各平均の周辺に有利なサンプル点が存在することを確立する。

実験結果

リサーチクエスチョン

• RQ1 サンプル数 n が無限大に近づく際、和ノルムクラスタリングは混合ガウス分布を正確に回復できるか？
• RQ2 既存の回復定理における平均分離条件の n 依存性を排除することは可能か？
• RQ3 どのような幾何的および確率的条件が、n が非常に大きい極限においてもクラスタが分離可能であることを保証するか？
• RQ4 チケ・エイツェットらのクラスタ特徴定理をどのように用いて、漸近的状態における回復を証明できるか？

主な発見

• 本稿は、等しい重みを用いた和ノルムクラスタリングが、n → ∞ の下で、固定された分離条件のもとで混合ガウス分布を正確に回復できることを証明している。
• 成分の平均間の必要な分離は ||μ_m - μ_m'|| > 16dσ_max / (c_d w_min) であり、c_d → 1 は d が増加するに従い指数関数的に近づく。
• この条件は、パナハイらの境界に見られる多項式対数(n)および K 依存因子を排除しており、大規模サンプル環境においてより有利である。
• 高確率（1に指数的に近い）で、各ガウス成分から少なくとも1つのサンプルが、部分勾配解析によるクラスタ分離を支援する領域に存在する。
• 証明はクラスタ特徴定理に依存しており、これはクラスタを分離し、各成分の挙動を独立して分析可能にする。
• この結果は等しい重みと球状ガウス分布の仮定の下で成り立ち、類似した対称性と集中性を持つ他の分布に対しても拡張可能である。