[论文解读] Consistency, breakdown robustness, and algorithms for robust improper maximum likelihood clustering

Pietro Coretto, Christian Hennig|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models参考文献 46被引用 6

一句话总结

本文提出了鲁棒非正规最大似然估计器（RIMLE）用于多元聚类，通过添加一个非正规常密度分量来建模异常值和噪声，从而增强模型的鲁棒性。该研究建立了RIMLE的理论基础，证明了其存在性、一致性及破溃鲁棒性，并提出了一种计算上可行的ECM算法，在模拟研究中表现优于现有方法，尤其在数据污染和模型误设情况下表现更优。

ABSTRACT

The robust improper maximum likelihood estimator (RIMLE) is a new method for robust multivariate clustering finding approximately Gaussian clusters. It maximizes a pseudo-likelihood defined by adding a component with improper constant density for accommodating outliers to a Gaussian mixture. A special case of the RIMLE is MLE for multivariate finite Gaussian mixture models. In this paper we treat existence, consistency, and breakdown theory for the RIMLE comprehensively. RIMLE's existence is proved under non-smooth covariance matrix constraints. It is shown that these can be implemented via a computationally feasible Expectation-Conditional Maximization algorithm.

研究动机与目标

• 解决多元高斯混合模型中最大似然估计缺乏理论保证的问题，尤其是在模型误设和数据污染情况下的问题。
• 开发一种鲁棒聚类方法，能够处理异常值和非高斯观测值，且无需对噪声假设特定的参数形式。
• 在非光滑协方差约束下，建立RIMLE的存在性、一致性和破溃鲁棒性理论。
• 提出一种计算上可行的期望-条件最大化（ECM）算法，用于RIMLE优化，确保收敛性和数值稳定性。
• 通过模拟实验表明，RIMLE在误分类率方面优于当前最先进的方法（如MCLUST、TCLUST和OTRIMLE变体），尤其在数据污染和高维噪声条件下表现更优。

提出的方法

• RIMLE将数据建模为多元高斯分量与一个非正规常密度分量的混合，以捕捉异常值和低密度观测值。
• 非正规分量采用固定且不可归一化的密度（在样本空间上为常数），以表示噪声，避免了对参数化噪声分布的指定。
• 在协方差矩阵特征值受约束的条件下，证明了RIMLE的存在性，从而防止似然函数退化。
• 提出一种新颖的期望-条件最大化（ECM）算法，通过迭代更新分量参数，其中条件最大化步骤确保收敛性。
• 通过γ参数对协方差矩阵施加特征值比约束，以控制聚类形状并防止过拟合，其中γ控制最小特征值相对于最大特征值的比值。
• 采用数据自适应准则（OTRIMLE）选择最优噪声分量密度水平，提升鲁棒性，且无需预先知晓污染率。

实验结果

研究问题

• RQ1 在何种条件下，含非正规噪声分量的多元高斯混合模型中，RIMLE估计器存在？
• RQ2 与标准MLE及其他鲁棒聚类方法相比，RIMLE在一致性和破溃鲁棒性方面表现如何？
• RQ3 能否设计一种计算高效的算法，在协方差矩阵的非光滑约束下优化RIMLE目标函数？
• RQ4 RIMLE性能对特征值比约束参数γ的选择有多敏感？实际应用中是否存在稳健的默认值？
• RQ5 在数据污染和模型误设条件下，RIMLE是否在误分类误差方面优于现有鲁棒聚类方法（如TCLUST和MCLUST）？

主要发现

• 在较弱正则性条件下，即使由于协方差矩阵奇异导致似然函数病态，RIMLE估计器依然存在。
• 在一般条件下，RIMLE具有一致性，包括当真实数据生成过程并非有限高斯混合时，表明其对模型误设具有鲁棒性。
• 与采用均匀或t分布噪声分量的传统混合模型相比，RIMLE在高维或污染环境下表现出更优的破溃鲁棒性。
• 所提出的ECM算法确保收敛与稳定性，其中第二版（ECM2）在模拟研究中显著优于先前工作的近似AEM方法。
• 在AsyNoise和GEM模拟设计中，OtrimleECM实现了最稳定且最低的误分类率，中位数分别低于3.5%和1.2%，在多数场景下优于MCLUST和TCLUSTOracle。
• γ = 100被证明是一个稳健且实用的默认选择，其性能在不同污染水平和数据结构下均保持稳定，即使真实γ远高于此（如GEM中γ > 3000）。