[论文解读] Finite mixture models do not reliably learn the number of components

Diana Cai, Trevor Campbell+1 more|arXiv (Cornell University)|Jul 8, 2020

Bayesian Methods and Mixture Models参考文献 73被引用 11

一句话总结

该论文表明，当分量似然函数存在轻微误设时，使用标准分量数量先验的有限混合模型（FMMs）无法可靠估计真实分量数量。在对分量分布作出温和且现实的假设下（包括正态分布及其他位置-尺度族）——随着数据量增加，任何有限分量数量的后验概率会收敛至零，导致推断发散，尽管在模型完全正确设定下后验具有一致性。

ABSTRACT

Scientists and engineers are often interested in learning the number of subpopulations (or components) present in a data set. A common suggestion is to use a finite mixture model (FMM) with a prior on the number of components. Past work has shown the resulting FMM component-count posterior is consistent; that is, the posterior concentrates on the true, generating number of components. But consistency requires the assumption that the component likelihoods are perfectly specified, which is unrealistic in practice. In this paper, we add rigor to data-analysis folk wisdom by proving that under even the slightest model misspecification, the FMM component-count posterior diverges: the posterior probability of any particular finite number of components converges to 0 in the limit of infinite data. Contrary to intuition, posterior-density consistency is not sufficient to establish this result. We develop novel sufficient conditions that are more realistic and easily checkable than those common in the asymptotics literature. We illustrate practical consequences of our theory on simulated and real data.

研究动机与目标

• 研究当分量似然函数存在误设时，有限混合模型（FMMs）在估计真实分量数量方面的可靠性。
• 挑战一种普遍假设，即在模型正确设定下后验一致性意味着在模型误设下也能实现可靠推断。
• 建立严格且可检验的条件，以确保即使存在任意小的模型误差，FMMs 在分量数量估计上仍会出现发散。
• 证明分量数量的过度估计并非仅是一种启发式问题，而是在温和正则性条件下数学上可保证的发散现象。
• 提供理论与实证证据，表明分量数量的后验分布对数据规模极为敏感，从而在实践中破坏了结果的可重现性。

提出的方法

• 形式化 FMM 框架，对分量数量引入先验，并分析后验分布在分量数量上的渐近行为。
• 提出一种基于混合可识别性与退化极限条件的新型理论框架，以评估模型在误设下的行为。
• 利用紧致性与弱收敛论证，表明当分量分布参数发散（如方差无界或均值无界）时，后验分布不会集中。
• 证明在温和且可检验的假设下（如绝对连续性、混合可识别性），任何固定有限分量数量的后验概率几乎必然随数据增长收敛至零。
• 将结果扩展至数据依赖先验，表明即使先验随数据规模自适应调整，误设下发散现象依然存在。
• 将理论应用于常见分量族（如多元正态分布、柯西分布、逻辑斯蒂分布），并通过理论引理与命题验证其适用性。

实验结果

研究问题

• RQ1 当分量似然函数存在轻微误设时，有限混合模型中分量数量的后验分布是否会收敛至真实分量数？
• RQ2 在模型完全正确设定下后验一致，是否具有误导性？因为这并不保证在模型误设下仍能实现可靠推断？
• RQ3 对分量分布而言，确保在误设下分量数量后验发散的最小且可检验条件是什么？
• RQ4 当模型存在误设时，随着数据规模增加，FMM 后验的行为如何变化，特别是在分量数量过度估计方面？
• RQ5 数据依赖先验在多大程度上能缓解或无法解决分量数量估计中的发散问题？

主要发现

• 即使存在最轻微的模型误设，随着数据规模增加，任何有限分量数量的后验概率几乎必然收敛至零。
• 该发散现象广泛存在于各类 FMM 中，包括单变量与多变量正态分量模型，且在温和且可检验的假设下成立。
• 在模型完全正确设定下后验一致，并不意味着在误设下推断可靠，这削弱了标准 FMM 在实际应用中的有效性。
• 在真实与模拟数据上的实证结果表明，随着观测数据增多，分量数量后验逐渐集中于更高数值，表明推断不可靠。
• 理论框架识别出分量分布的退化极限（如方差趋近于零）是导致后验发散的关键驱动因素。
• 即使对于数据依赖先验，该结果依然成立，表明该发散是 FMM 在误设下的一种根本性属性，而非先验选择的产物。