[论文解读] Finding approximately Gaussian clusters via robust improper maximum likelihood

Pietro Coretto, Christian Hennig|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models参考文献 39被引用 2

一句话总结

本文提出了鲁棒非正规最大似然估计器（RIMLE），用于将多变量数据聚类为近似高斯组，通过引入具有非正规恒定密度的分量来建模异常值。该研究建立了RIMLE在非光滑协方差约束下的存在性、一致性及崩溃行为的理论基础，并提出了一种计算上可行的EC-M算法以实现该方法。

ABSTRACT

The robust improper maximum likelihood estimator (RIMLE) is a new method for robust multivariate clustering finding approximately Gaussian clusters. It maximizes a pseudo-likelihood defined by adding a component with improper constant density for accommodating outliers to a Gaussian mixture. A special case of the RIMLE is MLE for multivariate finite Gaussian mixture models. In this paper we treat existence, consistency, and breakdown theory for the RIMLE comprehensively. RIMLE's existence is proved under non-smooth covariance matrix constraints. It is shown that these can be implemented via a computationally feasible Expectation-Conditional Maximization algorithm.

研究动机与目标

• 开发一种鲁棒聚类方法，能够有效识别多变量数据中的近似高斯聚类，同时妥善处理异常值。
• 在非光滑协方差矩阵约束下，建立RIMLE的理论性质——存在性、一致性及崩溃行为。
• 提供一种计算上可行的算法以实现RIMLE估计，从而使其可应用于实际的聚类问题。
• 通过引入用于异常值容纳的非正规恒定密度分量，将标准有限高斯混合模型的MLE推广至更一般情形。

提出的方法

• RIMLE通过在高斯混合模型中添加一个具有非正规恒定密度的分量，构建一种伪似然函数以建模异常值。
• 该方法在协方差矩阵的非光滑约束下最大化此伪似然函数，以确保鲁棒性。
• 当不存在异常值时，RIMLE的一个特例退化为有限高斯混合模型的标准MLE。
• 在指定的非光滑协方差约束下，证明了RIMLE的存在性，从而确保其理论有效性。
• 开发了一种计算上可行的期望-条件最大化（EC-M）算法，以高效实现RIMLE。
• EC-M算法通过迭代更新聚类参数与分配结果，其中条件最大化步骤被专门设计以处理非光滑约束。

实验结果

研究问题

• RQ1 在鲁棒聚类中常见的非光滑协方差矩阵约束下，RIMLE估计器是否存在？
• RQ2 在正则性条件下，RIMLE估计器是否一致，即随着样本量增加是否收敛于真实的聚类参数？
• RQ3 在数据污染条件下，RIMLE的表现如何？其在异常值存在下的崩溃行为如何？
• RQ4 尽管协方差矩阵存在非光滑约束，RIMLE是否仍能高效计算？
• RQ5 在鲁棒性与估计稳定性方面，RIMLE与标准高斯混合模型MLE相比，其理论表现如何？

主要发现

• 在非光滑协方差矩阵约束下，RIMLE估计器存在，这是其在鲁棒聚类中应用的关键理论基础。
• 在正则性条件下，RIMLE具有一致性，即随着样本量增大，其以概率收敛于真实的底层聚类参数。
• RIMLE表现出有利的崩溃行为，在显著异常值污染下仍能保持性能。
• 所提出的EC-M算法实现了RIMLE的高效且实用的计算，使其适用于现实世界中的多变量聚类任务。
• 通过引入用于鲁棒异常值处理的非正规恒定密度分量，RIMLE推广了有限高斯混合模型的标准MLE。