[論文レビュー] Optimal Clustering in Anisotropic Gaussian Mixture Models

Xin Chen, Anderson Y. Zhang|arXiv (Cornell University)|Jan 14, 2021

Bayesian Methods and Mixture Models参考文献 22被引用数 5

ひとこと要約

本稿は、未知で非同一の共分散行列を有する非等方的ガウス・ミックスチャネル・モデル（GMM）におけるクラスタリングのミニマックス下界を確立し、信号対雑音比（SNR）がクラスタ中心および共分散構造の両方に依存することを示している。また、数回の反復で最適レートに達するハードEM型のアルゴリズムを提案しており、ユークリッド距離を非等方的共分散に適合させたLloydのアルゴリズムを拡張したものである。

ABSTRACT

We study the clustering task under anisotropic Gaussian Mixture Models where the covariance matrices from different clusters are unknown and are not necessarily the identical matrix. We characterize the dependence of signal-to-noise ratios on the cluster centers and covariance matrices and obtain the minimax lower bound for the clustering problem. In addition, we propose a computationally feasible procedure and prove it achieves the optimal rate within a few iterations. The proposed procedure is a hard EM type algorithm, and it can also be seen as a variant of the Lloyd's algorithm that is adjusted to the anisotropic covariance matrices.

研究の動機と目的

• 共分散行列が未知で必ずしも等しくない非等方的GMMにおけるクラスタリングの根本的限界を特定すること。
• 共分散構造が均一か不均一かにかかわらず、クラスタリング誤差率のミニマックス下界を確立すること。
• 非等方的設定において最適レートを達成可能な計算的に実行可能なアルゴリズムを開発すること。
• 標準的手法（例：Lloydのアルゴリズムやスペクトルクラスタリング）が共分散構造を考慮しない設計であるがゆえに非等方的状況で失敗することを示すこと。
• 非等方的GMMにおける信号対雑音比が、クラスタ差のマハラノビス型変換を伴い、共分散構造の役割を反映することを示すこと。

提案手法

• 線形判別分析（LDA）および二次判別分析（QDA）への接続を用いて、情報理論的議論によりミニマックス下界を導出する。
• クラスタ割り当てとパラメータ推定を交互に更新するハードEM型アルゴリズムを提案し、共分散構造をマハラノビス距離を介して統合する。
• ユークリッド距離を、クラスタ固有の共分散行列を反映したマハラノビス距離に置き換えることで、Lloydのアルゴリズムを非等方的共分散に適応させる。
• 推定された共分散行列の固有値分解を用いて、アルゴリズムの割り当てステップにおけるマハラノビス距離を定義する。
• 2段階の手続きを採用：初期クラスタリングはスペクトル緩和により行い、その後、共分散に依存するEM更新による精錬を実施する。
• アルゴリズムが、不均一な共分散モデルでさえも定数回の反復内に最適レートに収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 未知で非同一の共分散行列を有する非等方的GMMにおけるクラスタリングの根本的ミニマックスレートは何か？
• RQ2 非等方的GMMにおける信号対雑音比は等方的ケースとどのように異なり、共分散行列はその役割を果たすか？
• RQ3 計算的に効率的なアルゴリズムが非等方的GMM設定でミニマックス最適レートを達成可能か？
• RQ4 なぜ標準的なクラスタリング手法（例：Lloydのアルゴリズムやスペクトルクラスタリング）は非等方的状況で失敗するのか？
• RQ5 クラスタ中心と共分散行列の間の相互作用は、不均一共分散モデルにおけるクラスタリングの難易度にどのように影響するか？

主な発見

• 非等方的GMMにおけるクラスタリングのミニマックス下界は、$\exp\left(-(1+o(1))\frac{(\text{SNR})^2}{8}\right)$ の形をとり、SNRはクラスタ中心および共分散行列の両方に依存する。
• 共分散が均一なモデル（すべての $\Sigma^*_a = \Sigma^*$）では、SNRは $\min_{a \neq b} \| (\theta^*_a - \theta^*_b)^T \Sigma^{*-1/2} \|$ で表され、マハラノビス距離を反映している。
• 不均一モデルでは、中心の差と共分散行列の差の間のより複雑な相互作用がSNRに現れる。
• 提案されたハードEMアルゴリズムは、共分散が未知で非同一であっても、定数回の反復内でミニマックス最適レートに到達する。
• このアルゴリズムは、推定された共分散行列を用いてマハラノビス距離を組み込んだLloydのアルゴリズムの変種であり、非等方的性に対してロバストである。
• Lloydのアルゴリズムやスペクトルクラスタリングといった標準的手法は、共分散構造を無視するため、非等方的状況では最適でなく、性能が劣化する。