[论文解读] Finite mixture models are typically inconsistent for the number of components

Diana Cai, Trevor Campbell+1 more|arXiv (Cornell University)|Jul 8, 2020

Bayesian Methods and Mixture Models参考文献 18被引用 3

一句话总结

本文表明，即使在模型存在极轻微误设的情况下，对分量数量施加先验的有限混合模型（FMMs）在分量数量估计上也表现出极端不一致：随着数据量无限增大，后验概率收敛于零，即正确识别真实分量数量的概率趋于零。作者严格证明了这种不一致性，并通过模拟数据和真实数据展示了其实际后果，挑战了模型选择中常见的假设。

ABSTRACT

Scientists and engineers are often interested in learning the number of subpopulations (or components) present in a data set. Practitioners commonly use a Dirichlet process mixture model (DPMM) for this purpose; in particular, they count the number of clusters---i.e. components containing at least one data point---in the DPMM posterior. But Miller and Harrison (2013) warn that the DPMM cluster-count posterior is severely inconsistent for the number of latent components when the data are truly generated from a finite mixture; that is, the cluster-count posterior probability on the true generating number of components goes to zero in the limit of infinite data. A potential alternative is to use a finite mixture model (FMM) with a prior on the number of components. Past work has shown the resulting FMM component-count posterior is consistent. But existing results crucially depend on the assumption that the component likelihoods are perfectly specified. In practice, this assumption is unrealistic, and empirical evidence (Miller and Dunson, 2019) suggests that the FMM posterior on the number of components is sensitive to the likelihood choice. In this paper, we add rigor to data-analysis folk wisdom by proving that under even the slightest model misspecification, the FMM posterior on the number of components is ultraseverely inconsistent: for any finite $k \in \mathbb{N}$, the posterior probability that the number of components is $k$ converges to 0 in the limit of infinite data. We illustrate practical consequences of our theory on simulated and real data sets.

研究动机与目标

• 研究当分量似然函数存在轻微误设时，有限混合模型（FMMs）在估计真实分量数量方面的一致性。
• 挑战在实践中普遍存在的假设，即对分量数量施加先验的FMMs在模型选择中是可靠的。
• 建立FMM后验分布无法集中于真实分量数量的理论条件。
• 通过模拟和真实数据示例，证明这种不一致性并非仅理论上的奇观，而是实际问题。

提出的方法

• 作者分析在模型误设条件下，FMM中分量数量后验分布的渐近行为。
• 基于大样本渐近理论和测度集中理论，证明随着样本量增加，真实分量数量的后验概率趋于零。
• 分析聚焦于分量密度存在任意小程度误设的情况。
• 关键结果通过真实与假设分量密度之间Kullback-Leibler散度的界推导得出。
• 作者证明：对于任意有限的 k ∈ ℕ，当 n → ∞ 时，后验概率 P(k 个分量 | 数据) → 0，前提是存在误设。
• 理论结果通过模拟和真实数据示例加以补充，以展示其实际影响。

实验结果

研究问题

• RQ1 当分量似然函数存在轻微误设时，有限混合模型中分量数量的后验分布是否一致？
• RQ2 在模型误设下，随着样本量增加，真实分量数量的后验概率是否会收敛于1？
• RQ3 模型误设如何影响对分量数量估计的可靠性，尤其是在对分量数量施加先验的FMM中？
• RQ4 在最小假设下，能否严格量化并证明FMM在分量数量估计上的不一致性？
• RQ5 这种不一致性在现实世界数据分析中的实际后果是什么？

主要发现

• 在任何模型误设下，即使误差任意小，当样本量趋于无穷时，真实分量数量的后验概率收敛于零。
• 这种不一致性并非弱或轻微，而是“极端严重”——无论样本量多大，后验分布都无法集中于真实分量数量。
• 该结论对任意有限的分量数量 k ∈ ℕ 均成立，表明使用分量数量先验的FMM进行模型选择存在根本性缺陷。
• 模拟和真实数据集的实证证据表明，分量数量的后验分布对似然函数的选择极为敏感，且无法恢复真实的分量数量。
• 研究结果挑战了在实践中广泛使用对分量数量施加先验的FMM，尤其是在分量密度无法完全确定的情况下。
• 本文证明，即使假设分量模型存在微小偏差，也会导致分量数量的后验估计系统性地错误。