[论文解读] Model Selection for Mixture Models - Perspectives and Strategies

Gilles Celeux, Sylvia Frühwirth‐Schnatter+1 more|arXiv (Cornell University)|Dec 24, 2018

Bayesian Methods and Mixture Models被引用 8

一句话总结

本文全面回顾了有限混合模型中模型选择策略，比较了频率学派与贝叶斯方法在确定分量数 $G$ 时的表现。强调 $G$ 的选择应基于建模目的——密度估计或基于模型的聚类，并引入了先进方法如可逆跳跃马尔可夫链蒙特卡洛（reversible jump MCMC）、稀疏有限混合模型及边际似然估计，表明 $G$ 通常难以识别，因此推断应聚焦于数据聚类数 $G_\text{+}$。

ABSTRACT

Determining the number G of components in a finite mixture distribution is an important and difficult inference issue. This is a most important question, because statistical inference about the resulting model is highly sensitive to the value of G. Selecting an erroneous value of G may produce a poor density estimate. This is also a most difficult question from a theoretical perspective as it relates to unidentifiability issues of the mixture model. This is further a most relevant question from a practical viewpoint since the meaning of the number of components G is strongly related to the modelling purpose of a mixture distribution. We distinguish in this chapter between selecting G as a density estimation problem in Section 2 and selecting G in a model-based clustering framework in Section 3. Both sections discuss frequentist as well as Bayesian approaches. We present here some of the Bayesian solutions to the different interpretations of picking the "right" number of components in a mixture, before concluding on the ill-posed nature of the question.

研究动机与目标

• 为解决有限混合模型中分量数 $G$ 选择这一基本挑战，该挑战对准确的密度估计和聚类至关重要。
• 比较并对比频率学派与贝叶斯方法在模型选择中的表现，突出其优势与局限性。
• 主张推断的真正目标应为数据聚类数 $G_\text{+}$，而非 $G$，原因在于可识别性问题与标签互换问题。
• 介绍并评估单次扫描贝叶斯方法（如可逆跳跃 MCMC 和稀疏有限混合模型），以实现 $G$ 与模型参数的联合估计。
• 表明先验分布（尤其是稀疏有限混合模型中的先验）在塑造 $G_\text{+}$ 的后验分布中起着关键作用。

提出的方法

• 使用信息准则（AIC、BIC、DIC、最小消息长度）和边际似然进行频率学派与贝叶斯模型选择。
• 应用 Chib 方法和基于抽样的近似方法来估计边际似然，用于模型比较。
• 引入完整数据后验似然（ICL）和条件分类似然，用于面向聚类的模型选择。
• 采用可逆跳跃 MCMC 方法，通过在不同 $G$ 值的模型间跳跃，实现跨模型推断。
• 提出使用对称狄利克雷先验 $\eta \sim \mathcal{D}_G(e_0)$ 的稀疏有限混合模型，以诱导稀疏性，并实现 $G$ 与参数的联合估计。
• 推导聚类分配的先验预测分布，表明创建新聚类的概率取决于 $e_0$ 和 $G$，这与狄利克雷过程混合模型不同。

实验结果

研究问题

• RQ1 当模型不可识别且发生标签互换时，如何可靠地选择有限混合模型中的分量数 $G$？
• RQ2 频率学派信息准则（AIC、BIC）与贝叶斯边际似然在选择 $G$ 时的相对优势是什么？
• RQ3 如可逆跳跃 MCMC 和稀疏有限混合模型等单次扫描贝叶斯方法如何改进对 $G$ 的跨模型推断？
• RQ4 为何数据聚类数 $G_\text{+}$ 比 $G$ 更具推断意义？先验建模如何影响这一结论？
• RQ5 参数为 $e_0$ 的对称狄利克雷先验如何影响有限混合模型中创建新聚类的先验概率？

主要发现

• 由于标签互换与过拟合问题，有限混合模型中的分量数 $G$ 难以识别，使其成为一个根本上病态的估计问题。
• 通过 Chib 方法或基于抽样的近似计算出的边际似然为模型比较提供了贝叶斯基础，但对先验选择敏感。
• 完整数据后验似然（ICL）准则在基于模型的聚类中表现有效，倾向于选择在拟合度与聚类结构之间取得平衡的模型。
• 使用 $\eta \sim \mathcal{D}_G(e_0)$ 的稀疏有限混合模型可实现 $G$ 与参数的联合估计，且当 $e_0$ 固定时，创建新聚类的先验概率随 $G$ 增加而上升。
• 将新观测分配至新聚类的先验概率为 $\frac{e_0(G - G_\text{+}^{-i})}{n - 1 + e_0 G}$，该概率同时依赖于 $e_0$ 和 $G$，与狄利克雷过程混合模型中恒定的先验概率不同。
• 渐近结果表明，当 $n \to \infty$ 时 $G$ 变得可识别，但在有限样本下，$G_\text{+}$（即非空聚类的数量）才是更具意义的推断目标。