[论文解读] Inconsistency of Pitman-Yor process mixtures for the number of components

Jeffrey W. Miller, Matthew Tom Harrison|arXiv (Cornell University)|Aug 30, 2013

Bayesian Methods and Mixture Models参考文献 25被引用 55

一句话总结

该论文表明，Pitman-Yor过程混合模型（PYMs）和狄利克雷过程混合模型（DPMs）在估计有限混合模型中的分量数量时存在不一致。尽管这些模型在贝叶斯非参数统计中被广泛用于聚类和密度估计，但当数据来自有限混合模型时，即使样本量不断增加，其在聚类数量上的后验分布也无法集中在真实分量数量上。这种不一致性适用于广泛的分量分布类，包括离散分布和连续指数族分布（如多元正态分布）。

ABSTRACT

In many applications, a finite mixture is a natural model, but it can be difficult to choose an appropriate number of components. To circumvent this choice, investigators are increasingly turning to Dirichlet process mixtures (DPMs), and Pitman-Yor process mixtures (PYMs), more generally. While these models may be well-suited for Bayesian density estimation, many investigators are using them for inferences about the number of components, by considering the posterior on the number of components represented in the observed data. We show that this posterior is not consistent --- that is, on data from a finite mixture, it does not concentrate at the true number of components. This result applies to a large class of nonparametric mixtures, including DPMs and PYMs, over a wide variety of families of component distributions, including essentially all discrete families, as well as continuous exponential families satisfying mild regularity conditions (such as multivariate Gaussians).

研究动机与目标

• 研究当数据来自有限混合模型时，Pitman-Yor过程混合模型（PYMs）在聚类数量上的后验推断是否具有一致性。
• 确定随着样本量增加，聚类数量上的后验分布是否能集中在真实分量数量上。
• 将这种不一致性结果从狄利克雷过程混合模型扩展到更广泛的非参数混合模型类别。
• 分析PYMs在实际应用中的行为，例如在群体遗传学中，其中群体数量是有限但通常未知的。
• 为观察到的经验现象提供理论依据：即即使数据来自已知的有限分量数量，PYMs和DPMs仍会产生虚假的小型聚类。

提出的方法

• 作者使用测度论和渐近概率工具，分析Pitman-Yor过程混合模型下聚类数量的后验分布。
• 推导出即使观测数增加，聚类数量后验分布也无法集中在真实分量数量上的条件。
• 证明依赖于通过拉普拉斯近似技术对边缘似然进行有界处理，特别关注似然函数在参数空间上的积分行为。
• 关键的技术工具包括多变量拉普拉斯近似界（引理C.1和推论C.2），用于控制后验的尾部行为以及似然函数在众数附近的集中性。
• 分析涵盖完整的指数族分量分布，并在较弱的正则性条件下建立了一致性失效的结论。
• 该框架适用于离散和连续指数族，包括多元正态混合模型，通过验证对数似然函数所需的光滑性和曲率条件来实现。

实验结果

研究问题

• RQ1 当数据来自有限混合模型时，Pitman-Yor过程混合模型中聚类数量的后验分布是否会集中在真实分量数量上？
• RQ2 聚类数量后验分布的不一致性是否仅限于狄利克雷过程混合模型，还是也适用于更广泛的Pitman-Yor过程混合模型类别？
• RQ3 在何种分量分布族条件下，聚类数量后验分布会表现出不一致性？
• RQ4 为何经验结果表明，即使数据来自已知的有限分量数量，后验样本中仍持续出现小型虚假聚类？
• RQ5 对边缘似然和后验集中性的理论界是否能解释聚类推断中观察到的不一致性？

主要发现

• 当数据来自有限混合模型时，Pitman-Yor过程混合模型中聚类数量的后验分布即使在样本量趋于无穷大时，也无法集中在真实分量数量上。
• 这种不一致性适用于广泛的分量分布类，包括所有离散指数族以及在较弱正则性条件下的连续指数族（如多元正态分布）。
• 不一致性并非源于模型误设，而是源于非参数先验的固有性质，即以正概率允许无限多个分量。
• 对真实数据（羚羊）和模拟数据（二元正态分布）进行吉布斯采样得到的经验结果表明，持续存在小型聚类，且聚类数量的后验分布无法收敛到真实值。
• 利用拉普拉斯近似界进行的理论分析表明，即使在渐近情况下，边缘似然也不倾向于真实分量数量，这是由于存在后验概率不趋于零的虚假聚类。
• 该不一致性结果不仅适用于狄利克雷过程混合模型，也适用于更一般的Pitman-Yor过程混合模型，从而削弱了将聚类数量后验分布作为有限混合设定下可靠推断工具的有效性。