[论文解读] Posterior concentration rates for empirical Bayes procedures, with applications to Dirichlet Process mixtures

Sophie Donnet, Vincent Rivoirard+2 more|arXiv (Cornell University)|Jun 17, 2014

Bayesian Methods and Mixture Models参考文献 40被引用 5

一句话总结

本文为数据依赖先验的经验贝叶斯程序建立了后验集中率的一般条件，将频率学派渐近理论扩展到超参数从数据中估计的设定。该理论被应用于高斯狄利克雷过程混合模型和Aalen模型下的计数过程，推导出最优收缩率，并通过非齐次泊松过程的模拟验证了该方法。

ABSTRACT

In this paper we provide general conditions to check on the model and the prior to derive posterior concentration rates for data-dependent priors (or empirical Bayes approaches). We aim at providing conditions that are close to the conditions provided in the seminal paper by Ghosal and van der Vaart (2007a). We then apply the general theorem to two different settings: the estimation of a density using Dirichlet process mixtures of Gaussian random variables with base measure depending on some empirical quantities and the estimation of the intensity of a counting process under the Aalen model. A simulation study for inhomogeneous Poisson processes also illustrates our results. In the former case we also derive some results on the estimation of the mixing density and on the deconvolution problem. In the latter, we provide a general theorem on posterior concentration rates for counting processes with Aalen multiplicative intensity with priors not depending on the data.

研究动机与目标

• 开发一个通用框架，用于评估超先验依赖于数据的经验贝叶斯程序中的后验集中率。
• 将Ghosal与van der Vaart（2007a）的理论工具扩展至数据驱动先验，确保后验推断的频率学派有效性。
• 建立经验贝叶斯后验以最优速率收缩的条件，即使先验并非事先固定。
• 将通用理论应用于非参数模型：高斯狄利克雷过程混合模型和Aalen模型下的计数过程。
• 通过非齐次泊松过程的模拟研究验证理论发现。

提出的方法

• 通过借鉴Ghosal与van der Vaart（2007a）的检验和先验质量条件，推导出在数据依赖先验下后验集中率的一般定理。
• 为假设 $ H_0: \theta = \theta_0 $ 对 $ H_1: d(\theta, \theta_0) > \epsilon_n $ 构造适用于数据驱动先验的指数强大检验。
• 对Kullback-Leibler邻域中的先验质量以及参数空间的度量熵施加条件，以控制后验集中。
• 将该框架应用于基测度依赖于经验量（如样本均值和样本方差）的狄利克雷过程混合模型。
• 分析计数过程的Aalen模型，推导出数据驱动先验下多重强度的后验集中率。
• 通过模拟研究说明经验贝叶斯后验在估计非齐次泊松强度时的表现。

实验结果

研究问题

• RQ1 当先验超参数从数据中估计时，经验贝叶斯后验在何种条件下以最优速率收缩？
• RQ2 Ghosal与van der Vaart（2007a）的理论框架能否扩展至非参数模型中的数据依赖先验？
• RQ3 当基测度为数据驱动时，高斯狄利克雷过程混合模型的后验集中率是多少？
• RQ4 在Aalen模型下，计数过程结合数据依赖先验时，经验贝叶斯后验的行为如何？
• RQ5 理论结果能否通过非齐次泊松过程的模拟得到经验验证？

主要发现

• 本文建立了充分条件，表明即使先验依赖于数据，经验贝叶斯后验仍能以与完全贝叶斯后验相同的速率收缩。
• 对于基测度为数据驱动的高斯狄利克雷过程混合模型，在正则条件下，后验以密度估计的极小极大最优率收缩。
• 在Aalen模型下，对于计数过程，即使先验不依赖于数据，但超参数通过经验估计，该方法仍能实现最优收缩率。
• 模拟研究证实，经验贝叶斯后验在非齐次泊松过程中以正确的速率集中，支持了理论发现。
• 本文还推导了狄利克雷过程混合设定下混合密度估计与反卷积的附加结果，扩展了该框架的适用范围。
• 该理论框架具有足够的通用性，可覆盖参数与非参数模型，为经验贝叶斯后验集中提供统一方法。