[論文レビュー] Optimality of Spectral Clustering in the Gaussian Mixture Model

Matthias Löffler, Anderson Y. Zhang+1 more|arXiv (Cornell University)|Nov 1, 2019

Face and Expression Recognition被引用数 4

ひとこと要約

本稿は、スペクトルクラスタリングが、スペクトルギャップの仮定を必要としない等方性ガウス・ミックスチャネル・モデル（GMM）において最小最大最適性を確立する。また、クラスタ間距離の二乗に指数的に減少する誤分類率を達成することが示され、クラスタサイズ、次元、SN比に関する弱い正則性条件のもとで成り立つ。

ABSTRACT

Spectral clustering is one of the most popular algorithms to group high dimensional data. It is easy to implement and computationally efficient. Despite its popularity and successful applications, its theoretical properties have not been fully understood. In this paper, we show that spectral clustering is minimax optimal in the Gaussian Mixture Model with isotropic covariance matrix, when the number of clusters is fixed and the signal-to-noise ratio is large enough. Spectral gap conditions are widely assumed in the literature to analyze spectral clustering. On the contrary, these conditions are not needed to establish optimality of spectral clustering in this paper.

研究の動機と目的

• 一般条件下での等方性ガウス・ミックスチャネル・モデル（GMM）におけるスペクトルクラスタリングの理論的最適性を確立すること。
• スペクトルクラスタリングの実験的成功と理論的理解の間のギャップを埋めること。
• 従来の理論的解析で一般的に用いられるスペクトルギャップ仮定の必要性を排除すること。
• 最適な誤分類率を導出し、追加の精錬ステップなしにスペクトルクラスタリングがそのレートを達成できることを示すこと。
• クラスタ数が増加する状況および非一様なクラスタサイズの設定への結果の拡張。

提案手法

• 同一共分散行列と分離されたクラスタ中心を持つGMMからのデータにスペクトルクラスタリングを適用する。
• データ行列のスペクトル分解を用いて主固有空間に射影し、次に次元削減された表現に対してk-meansを実行する。
• 推定誤差の固有ベクトルおよび固有値のバウンドに、確率的行列理論およびスペクトル摂動解析を用いる。
• カイ二乗分布の尾部バウンドおよびBorellの不等式を用いて、ノイズ成分の集中不等式を導出する。
• すべてのデータポイントにおける正規化ハミング損失を制御するため、和集合の不等式およびMarkovの不等式を適用する。
• 誤差分解におけるバイアスとバイトのバランスを取るために、巧みに調整された調整パrameter（ρ, ρ′, ρ′′）を導入する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルギャップ仮定なしに、等方性GMMにおけるスペクトルクラスタリングは最小最大最適か？
• RQ2 一般条件下での等方性GMMにおける最適に達成可能な誤分類率は何か？
• RQ3 Lloydのアルゴリズムのような追加の精錬ステップなしに、スペクトルクラスタリングはその最適レートを達成できるか？
• RQ4 性能はクラスタ間距離∆、次元p、および標本サイズnにどのように依存するか？
• RQ5 クラスタ数がnとともに増加し、かつクラスタサイズが非一様である場合でも最適性は保たれるか？

主な発見

• スペクトルクラスタリングは、等方性GMMにおいて最適な誤分類率を達成し、誤差はexp(−(1−o(1))∆²/8)の形で減少する。
• 従来の理論的研究で一般的に仮定されるスペクトルギャップ条件を必要とせず、最適性が保たれる。
• クラスタ数がnとともに増加し、かつクラスタサイズが非一様であっても、同様に最適性能が達成される。
• 誤差率は∆²に関して指数的に小さく、問題の最小最大下界と一致する。
• 解析により、スペクトルクラスタリングそのものが最適な回復を達成するのに十分であり、初期値の設定や反復的精錬は不要であることが示された。
• 固定または増加するクラスタ数、p ≤ O(n)、および∆ → ∞ の弱い条件下で結果が成り立つ。