[论文解读] Bayesian MISE Convergence Rates of Mixture Models Based on the Polya Urn Model: Asymptotic Comparisons and Choice of Prior Parameters

Sabyasachi Mukhopadhyay, Sourabh Bhattacharya|arXiv (Cornell University)|May 17, 2012

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出了一种贝叶斯渐近框架，以客观地确定狄利克雷过程混合模型中分量数的上界和精度参数。通过定义均方误差的贝叶斯类比（贝叶斯 MISE），该框架确定了改进的波利亚-瓮模型密度估计器的最优收敛速率，从而实现渐近最优的模型选择与先验参数调优。

ABSTRACT

Mixture models are well-known for their versatility, and the Bayesian paradigm is a suitable platform for mixture analysis, particularly when the number of components is unknown. Bhattacharya (2008) introduced a mixture model based on the Dirichlet process, where an upper bound on the unknown number of components is to be specified. Here we consider a Bayesian asymptotic framework for objectively specifying the upper bound, which we assume to depend on the sample size. In particular, we define a Bayesian analogue of the mean integrated squared error (Bayesian MISE), and select that form of the upper bound, and also that form of the precision parameter of the underlying Dirichlet process, for which Bayesian MISE of a specific density estimator, which is a suitable modification of the Polya-urn based prior predictive model, converges at a desired rate. As a byproduct of our approach, we investigate asymptotic choice of the precision parameter of the traditional Dirichlet process mixture model; the density estimator we consider here is a modification of the prior predictive distribution of Escobar & West (1995) associated with the Polya urn model. Various asymptotic issues related to the two aforementioned mixtures, including comparative performances, are also investigated.

研究动机与目标

• 开发一种基于样本大小的贝叶斯渐近框架，用于选择混合模型中分量数的上界。
• 为评估密度估计器性能，定义均方误差的贝叶斯类比（贝叶斯 MISE）。
• 确定上界和精度参数的最优形式，以确保贝叶斯 MISE 达到期望的收敛速率。
• 研究所提模型与传统狄利克雷过程混合模型在渐近性能及相对行为方面的差异。
• 为非参数贝叶斯混合建模中的先验参数选择提供客观、数据驱动的指导。

提出的方法

• 引入贝叶斯 MISE 准则，作为衡量基于混合模型导出的密度估计器估计精度的指标。
• 采用埃斯科瓦和韦斯特（1995）提出的先验预测分布的改进版本，基于波利亚瓮机制，作为核心密度估计器。
• 推导在分量数上界不同形式下，贝叶斯 MISE 的渐近收敛速率。
• 分析狄利克雷过程中的精度参数对贝叶斯 MISE 收敛速率的影响。
• 建立贝叶斯 MISE 以期望速率收敛的条件，通过优化上界和精度参数实现。
• 对所提模型与标准狄利克雷过程混合模型进行渐近比较，以评估相对性能。

实验结果

研究问题

• RQ1 对于基于波利亚瓮的密度估计器，分量数的上界应为何种形式，才能使贝叶斯 MISE 最小化？
• RQ2 如何从渐近角度选择狄利克雷过程的精度参数，以确保贝叶斯 MISE 实现最优收敛？
• RQ3 所提模型与传统狄利克雷过程混合模型在渐近性能特征上存在哪些比较性差异？
• RQ4 贝叶斯 MISE 能否作为非参数混合模型中选择先验超参数的可靠准则？
• RQ5 在贝叶斯 MISE 收敛的背景下，样本大小与上界最优选择之间存在何种关系？

主要发现

• 当分量数的上界作为样本大小的函数进行选择时，具体为对数率或多项式率，贝叶斯 MISE 可实现期望的收敛速率。
• 狄利克雷过程的精度参数应随样本大小对数增长，以实现贝叶斯 MISE 的最优收敛。
• 所提方法为同时选择上界和精度参数提供了客观、渐近合理的途径，避免了主观判断。
• 在相同条件下，改进的波利亚瓮基估计器相比标准估计器展现出更快且更稳定的收敛性能。
• 渐近比较表明，当超参数被最优调优时，所提模型在 MISE 收敛方面优于传统狄利克雷过程混合模型。
• 该框架为先验超参数选择提供了理论依据，为默认或启发式选择提供了一种有原则的替代方案。