[论文解读] A flexible EM-like clustering algorithm for noisy data

Violeta Roizman, Matthieu Jonckheere+1 more|arXiv (Cornell University)|Jul 2, 2019

Bayesian Methods and Mixture Models被引用 8

一句话总结

该论文提出了一种鲁棒的、类似EM的聚类算法，通过为每个数据点引入半参数尺度参数估计，改进了传统高斯混合模型（GMM）聚类方法，从而能够有效处理噪声、异常值和重尾分布。该方法在多种数据集（包括MNIST、NORB和20newsgroups）上均保持高性能，在合成数据和真实世界场景中均优于k-means、标准EM-GMM和谱聚类。

ABSTRACT

Though very popular, it is well known that the EM for GMM algorithm suffers from non-Gaussian distribution shapes, outliers and high-dimensionality. In this paper, we design a new robust clustering algorithm that can efficiently deal with noise and outliers in diverse data sets. As an EM-like algorithm, it is based on both estimations of clusters centers and covariances. In addition, using a semi-parametric paradigm, the method estimates an unknown scale parameter per data-point. This allows the algorithm to accommodate for heavier tails distributions and outliers without significantly loosing efficiency in various classical scenarios. We first derive and analyze the proposed algorithm in the context of elliptical distributions, showing in particular important insensitivity properties to the underlying data distributions. We then study the convergence and accuracy of the algorithm by considering first synthetic data. Then, we show that the proposed algorithm outperforms other classical unsupervised methods of the literature such as k-means, the EM for Gaussian mixture models and its recent modifications or spectral clustering when applied to real data sets as MNIST, NORB, and 20newsgroups.

研究动机与目标

• 为解决标准EM在处理非高斯数据、异常值和高维噪声时在GMM中的局限性。
• 开发一种在重尾分布和不同聚类尺度下仍保持鲁棒性的聚类算法，同时不牺牲效率。
• 在具有显著噪声和结构可变性的现实世界数据中，提高聚类准确性和稳定性。
• 提供一种灵活的EM类框架，通过逐点估计适应数据特定的尺度变化。

提出的方法

• 该算法使用类似EM的迭代过程估计聚类中心和协方差矩阵。
• 它为每个数据点引入半参数尺度参数，以建模单个观测的不确定性，并适应重尾分布。
• 该方法假设椭球分布，并利用Tyler定理确保鲁棒的散射矩阵估计。
• 它采用基于似然的框架，其中分量权重和责任度通过结合逐点尺度参数的改进似然函数进行更新。
• 该算法应用一种鲁棒估计策略，通过自适应尺度估计降低极端观测值的影响，从而减少对外部异常值的敏感性。
• 在椭球分布假设下分析收敛性，理论证明了估计量的一致性和渐近正态性。

实验结果

研究问题

• RQ1 如何使类似EM的算法在聚类任务中对异常值和非高斯重尾分布具有鲁棒性？
• RQ2 逐点尺度估计对高维或噪声数据中聚类准确性和鲁棒性有何影响？
• RQ3 所提出的方法在真实世界数据上与经典聚类算法（如k-means、EM-GMM和谱聚类）相比表现如何？
• RQ4 该算法在不同聚类形状、尺度和噪声水平下性能保持程度如何？
• RQ5 半参数方法是否能在不显著增加计算复杂度的前提下提升鲁棒性？

主要发现

• 在MNIST、NORB和20newsgroups数据集上，所提出算法在聚类准确性方面显著优于k-means、EM-GMM和谱聚类。
• 该方法对底层数据分布形状表现出极强的不敏感性，尤其在重尾和非高斯条件下表现突出。
• 通过逐点尺度估计实现对异常值的鲁棒性，能有效降低极端观测值的影响，同时不扭曲聚类结构。
• 即使在标准GMM-EM因协方差估计性能差而失效的高维场景下，该算法仍能保持高性能。
• 理论分析证实了在椭球分布下算法的收敛性和一致性，并建立了估计量的渐近正态性。
• 实验结果表明，该方法在噪声和异常值存在时，聚类质量优于EM-GMM及其近期变体。