[论文解读] Bayes and empirical Bayes: do they merge?

Sonia Petrone, Judith Rousseau+1 more|arXiv (Cornell University)|Apr 6, 2012

Bayesian Methods and Mixture Models参考文献 21被引用 5

一句话总结

本文严格研究了经验贝叶斯（EB）后验分布是否渐近地与全贝叶斯后验分布合并，建立了它们在贝叶斯弱合并（弱收敛）和频率学派强合并（总变差距离）下收敛的条件。结果表明，EB后验分布是一致的，当且仅当其弱收敛；并提供了充分条件以确保一致性，揭示了当超参数的边际最大似然估计器退化时，EB方法可能无法合并——尤其是在狄利克雷过程混合模型或g-先验等情形下。

ABSTRACT

Bayesian inference is attractive for its coherence and good frequentist properties. However, it is a common experience that eliciting a honest prior may be difficult and, in practice, people often take an {\em empirical Bayes} approach, plugging empirical estimates of the prior hyperparameters into the posterior distribution. Even if not rigorously justified, the underlying idea is that, when the sample size is large, empirical Bayes leads to "similar" inferential answers. Yet, precise mathematical results seem to be missing. In this work, we give a more rigorous justification in terms of merging of Bayes and empirical Bayes posterior distributions. We consider two notions of merging: Bayesian weak merging and frequentist merging in total variation. Since weak merging is related to consistency, we provide sufficient conditions for consistency of empirical Bayes posteriors. Also, we show that, under regularity conditions, the empirical Bayes procedure asymptotically selects the value of the hyperparameter for which the prior mostly favors the "truth". Examples include empirical Bayes density estimation with Dirichlet process mixtures.

研究动机与目标

• 确定经验贝叶斯（EB）后验分布渐近地与全贝叶斯后验分布合并的条件。
• 通过分析其与贝叶斯后验的一致性和收敛性，评估EB方法在统计上的合理性。
• 识别EB方法失效的场景，特别是当超参数的边际最大似然估计器退化时（例如，0或1）。
• 为常见经验实践——即代入估计的超参数——提供理论依据，尤其是在非正则或高维设置下。
• 阐明EB后验继承良好频率学派性质（如一致性与Bernstein-von Mises行为）的条件。

提出的方法

• 采用两种合并概念：贝叶斯弱合并（后验的弱收敛）与频率学派强合并（在真实数据生成分布下，总变差收敛几乎必然）。
• 建立弱合并等价于EB后验在参数空间中所有θ₀处关于真实参数值θ₀的弱一致性。
• 应用拉普拉斯近似于边际似然，以比较EB边际似然m(X₁:n|λ̂ₙ)与真实似然pθ₀ⁿ(X₁:n)。
• 通过分析在估计超参数与真实超参数下先验密度的比值，推导EB后验与全贝叶斯后验之间L₁距离的界。
• 通过变量替换u = √n I(θ₀)^{1/2}(θ - θ̂ₙ)分析后验在MLE θ̂ₙ附近的集中性，并定义集合Vₙ，使得在此集合中先验密度比值远离1。
• 利用高斯近似与体积界，表明若在λ̂ₙ下的先验过于集中或与真实情况不符，则L₁距离将保持远离零，意味着合并失败。

实验结果

研究问题

• RQ1 在何种条件下，经验贝叶斯后验会弱收敛于全贝叶斯后验？
• RQ2 经验贝叶斯后验在总变差距离下何时会强收敛于全贝叶斯后验？
• RQ3 为何经验贝叶斯方法可能导致病态行为，如退化的超参数估计（例如，p̂ = 0或1），且这种情形何时不可避免？
• RQ4 超参数的边际最大似然估计器能否导致一致的EB后验？何种条件可确保这一点？
• RQ5 在哪些情形下——如狄利克雷过程混合模型或g-先验——经验贝叶斯会与全贝叶斯无法合并，原因是什么？

主要发现

• EB后验与全贝叶斯后验的弱合并，等价于EB后验在参数空间中所有θ₀处关于真实参数θ₀的弱一致性。
• 若估计的超参数λ̂ₙ导致的先验过于集中或与真实情况不一致，即使MLE λ̂ₙ是一致的，EB后验在L₁范数下仍无法与全贝叶斯后验合并。
• 当模型选择先验中超参数p的边际最大似然估计器以正概率取值为0或1时，对应的EB先验会退化，导致后验行为欠佳。
• 在具有光滑似然和先验的正则参数模型中，若超参数估计器一致且先验在θ₀处连续，则EB后验在总变差距离下收敛于全贝叶斯后验。
• 即使λ̂ₙ → λ，若在λ̂ₙ下的先验与真实λ下的先验不渐近等价，则EB与全贝叶斯后验之间的L₁距离仍会保持远离零。
• 对于狄利克雷过程混合模型和g-先验，本文识别出EB方法选择能最好支持真实情况的超参数值的条件，从而确保合并与一致性。