[论文解读] Mixture Model Averaging for Clustering and Classification

Yuhong Wei, Paul D. McNicholas|arXiv (Cornell University)|Dec 23, 2012

Bayesian Methods and Mixture Models参考文献 23被引用 2

一句话总结

本文提出了一种基于混合模型聚类的贝叶斯模型平均方法，通过平均接近最优拟合的多个模型来提高鲁棒性，采用奥卡姆窗口（Occam’s window）和基于调整兰德指数（adjusted Rand index）的组分合并技术。该方法减少了对单一‘最优’模型的依赖，在模拟数据和真实数据上均获得了更稳定、更准确的聚类结果。

ABSTRACT

In mixture model-based clustering applications, it is common to fit several models from a family and report clustering results from only the ‘best’ one. In such circumstances, selection of this best model is a difficult and consequential problem, and the Bayesian information criterion is typically used. Rather than throw away all but the best model, we develop approaches to average multiple models that are in some sense close to the best one, thereby producing a weighted average of clustering results. Two averaging approaches are considered: averaging the component membership probabilities and averaging models. In both cases, Occam’s window is used to determine closeness to the best model and weights are computed within a Bayesian model averaging paradigm. In some cases, we need to merge components before averaging and we introduce a method for merging mixture components based on the adjusted Rand index. The effectiveness of our model-based clustering averaging approach is illustrated using a family of Gaussian mixture models on simulated and real data. This paper is a significant step in the departure from the ‘single best model’ paradigm that currently dominates the model-based clustering literature.

研究动机与目标

• 为解决基于混合模型聚类中选择单一‘最优’模型所带来的局限性，该局限性可能导致结果不稳定或产生误导。
• 通过整合多个合理的模型而非依赖单一最优模型，减少模型选择偏差。
• 提出一种系统化的方法对混合模型进行平均，以考虑模型不确定性及组分相似性。
• 引入基于调整兰德指数的组分合并技术，在平均前处理重叠或高度相似的组分。
• 在模拟数据和真实数据集上，证明模型平均在提升聚类准确性和稳定性方面的有效性。

提出的方法

• 使用奥卡姆窗口，基于贝叶斯信息准则（BIC）选择与最优拟合模型在预设阈值范围内的模型集合。
• 应用贝叶斯模型平均计算所选模型的权重，权重与它们的后验概率成正比。
• 通过对所选模型的组分成员概率取平均，生成最终的平滑聚类分配结果。
• 另一种方法是直接对完整的混合模型进行平均，通过加权平均组合其组分参数。
• 使用调整兰德指数作为衡量组分对之间相似性的指标，以指导合并组分前的处理。
• 通过迭代方式，将相似度最高的组分按调整兰德指数进行合并，直至达到期望的区分度水平。

实验结果

研究问题

• RQ1 与依赖单一最优拟合混合模型相比，模型平均在提升聚类稳定性和准确性方面有何优势？
• RQ2 在平均过程中，应依据何种标准选择纳入的模型？
• RQ3 如何在模型平均前有效合并重叠或高度相似的混合组分？
• RQ4 模型平均在多大程度上降低了基于混合模型聚类中对模型选择不确定性的敏感性？
• RQ5 所提出的方法是否在模拟数据和真实世界聚类应用中均优于传统的单模型选择方法？

主要发现

• 模型平均显著提升了聚类性能，相比选择单一最优模型，其方差更小，鲁棒性更强。
• 奥卡姆窗口的使用有效限制了参与平均的模型数量，聚焦于BIC表现最优异的模型。
• 基于调整兰德指数的组分合并技术，能够在平均前实现一致且有意义的相似组分聚合。
• 对组分成员概率进行平均，相比依赖单一模型输出，能产生更可靠、更稳定的聚类分配。
• 所提出方法在模拟高斯混合数据和真实世界数据集上均表现出一致的聚类准确率提升。
• 该方法降低了过拟合和模型选择偏差的风险，尤其在高维或噪声较大的聚类场景中表现更优。