[論文レビュー] A flexible EM-like clustering algorithm for noisy data

Violeta Roizman, Matthieu Jonckheere+1 more|arXiv (Cornell University)|Jul 2, 2019

Bayesian Methods and Mixture Models被引用数 8

ひとこと要約

この論文は、各データポイントごとの半パラメトリックなスケールパラメータ推定を組み込むことで、従来のガウス・ミックスチャモデル（GMM）クラスタリングを改善した、ロバストなEMに類似したクラスタリングアルゴリズムを提案している。この手法により、ノイズ、外れ値、重たい尾を持つ分布の処理が効果的に行える。MNIST、NORB、20newsgroupsを含む多様なデータセットにおいて高い性能を維持し、合成データおよび現実世界のシナリオにおいてk-means、標準的なEM-GMM、スペクトルクラスタリングを上回っている。

ABSTRACT

Though very popular, it is well known that the EM for GMM algorithm suffers from non-Gaussian distribution shapes, outliers and high-dimensionality. In this paper, we design a new robust clustering algorithm that can efficiently deal with noise and outliers in diverse data sets. As an EM-like algorithm, it is based on both estimations of clusters centers and covariances. In addition, using a semi-parametric paradigm, the method estimates an unknown scale parameter per data-point. This allows the algorithm to accommodate for heavier tails distributions and outliers without significantly loosing efficiency in various classical scenarios. We first derive and analyze the proposed algorithm in the context of elliptical distributions, showing in particular important insensitivity properties to the underlying data distributions. We then study the convergence and accuracy of the algorithm by considering first synthetic data. Then, we show that the proposed algorithm outperforms other classical unsupervised methods of the literature such as k-means, the EM for Gaussian mixture models and its recent modifications or spectral clustering when applied to real data sets as MNIST, NORB, and 20newsgroups.

研究の動機と目的

• 標準的なEMによるGMMのクラスタリングにおける、非ガウス分布、外れ値、高次元ノイズの処理における限界を解消すること。
• 重たい尾を持つ分布や変動するクラスタースケールに耐性を持ちつつ、効率性を損なわずにロバストなクラスタリングアルゴリズムを構築すること。
• 顕著なノイズと構造的ばらつきを伴う現実世界のデータにおいて、クラスタリングの精度と安定性を向上させること。
• 各データポイントごとのスケール変動に適応できる柔軟なEMに類似したフレームワークを提供すること。

提案手法

• アルゴリズムは、EMに類似した反復的手順を用いてクラスタ中心と共分散行列を推定する。
• 個々の観測の不確実性をモデル化し、重たい尾を持つ分布に適応するため、各データポイントごとに半パラメトリックなスケールパラメータを導入する。
• 楕円分布を仮定し、タイラーの定理を活用してロバストな散乱行列推定を実現する。
• 成分重みと責任割り当てを、各ポイントのスケールパラメータを組み込んだ修正された尤度に基づいて更新する尤度に基づくフレームワークを採用する。
• 極端な観測を適応的スケール推定によって下方重み付けすることで、外れ値への感受性を低減するロバスト推定戦略を適用する。
• 楕円分布の仮定の下で収束性を分析し、一貫性および漸近正規性に関する理論的保証を提示する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングタスクにおいて、外れ値や非ガウス的で重たい尾を持つ分布に対して、EMに類似したアルゴリズムをどのようにしてロバスト化できるか？
• RQ2 高次元またはノイズが多いデータにおいて、各データポイントごとのスケール推定がクラスタリング精度とロバスト性に与える影響は何か？
• RQ3 本手法は、現実世界のデータにおいて、k-means、EM-GMM、スペクトルクラスタリングといった古典的手法と比較してどの程度優れているか？
• RQ4 クラスタの形状、スケール、ノイズレベルの変動に対して、このアルゴリズムはどの程度の性能を維持できるか？
• RQ5 計算複雑性を著しく増加させることなく、半パラメトリックアプローチがロバスト性を向上させられるか？

主な発見

• 提案手法は、MNIST、NORB、20newsgroupsデータセットにおいて、k-means、EM-GMM、スペクトルクラスタリングを顕著に上回るクラスタリング精度を達成している。
• 特に重たい尾や非ガウス的条件下でも、データ分布の形状に強く依存しない強力なロバスト性を示している。
• 各ポイントごとのスケール推定により、外れ値に対するロバスト性が実現され、クラスタ構造を歪めることなく極端な観測を効果的に下方重み付けしている。
• 標準的なGMM-EMが共分散推定に失敗する高次元設定でも、本手法は高い性能を維持している。
• 理論的分析により、楕円分布の下で収束性と一貫性が保証され、推定量の漸近正規性が確立されている。
• 実験的結果から、ノイズや外れ値が存在する状況でも、EM-GMMおよびその最近年の変種を上回るより優れたクラスタリング品質が得られていることが示された。