[论文解读] Criteria for posterior consistency

B. J. K. Kleijn, Yue Zhao|arXiv (Cornell University)|Aug 6, 2013

Bayesian Methods and Mixture Models参考文献 30被引用 4

一句话总结

本文提出了一套灵活的贝叶斯非参数推断后验一致性框架，通过用Hellinger或度量球中的先验质量下界替代Kullback-Leibler邻域条件，将Schwartz定理推广至正确设定和错误设定模型。该框架在更弱的条件下建立了后验一致性，包括在KL先验不存在的模型中，并表明第二阶Ghosal-Ghosh-van der Vaart条件可被KL邻域中先验质量的下界所替代，从而在重尾分布的参数模型中也能实现后验收敛速率。

ABSTRACT

Frequentist conditions for asymptotic suitability of Bayesian procedures focus on lower bounds for prior mass in Kullback-Leibler neighbourhoods of the data distribution. The goal of this paper is to investigate the flexibility in criteria for posterior consistency with i.i.d. data. We formulate a versatile posterior consistency theorem that applies both to well- and mis-specified models and which we use to re-derive Schwartz's theorem, consider Kullback-Leibler consistency and formulate consistency theorems in which priors charge metric balls. It is generalized to sieved models with Barron's negligible prior mass condition and to separable models with variations on Walker's consistency theorem. Results also apply to marginal semi-parametric consistency: support boundary estimation is considered explicitly and consistency is proved in a model for which Kullback-Leibler priors do not exist. Other examples include consistent density estimation in mixture models with Dirichlet or Gibbs-type priors of full weak support. Regarding posterior convergence at a rate, it is shown that under a mild integrability condition, the second-order Ghosal-Ghosh-van der Vaart prior mass condition can be relaxed to a lower bound to the prior mass in Schwartz's Kullback-Leibler neighbourhoods. The posterior rate of convergence is derived in a simple, parametric model for heavy-tailed distributions in which the Ghosal-Ghosh-van der Vaart condition cannot be satisfied by any prior.

研究动机与目标

• 将后验一致性准则从Kullback-Leibler邻域扩展至度量球和Hellinger邻域。
• 将Schwartz定理推广至错误设定模型以及无总体有界性的模型。
• 将第二阶Ghosal-Ghosh-van der Vaart条件放松为KL邻域中先验质量的下界。
• 在KL先验不存在的模型中建立后验一致性，例如具有有界支撑的location-scale族。
• 在较弱的可积性条件下推导后验收敛速率，即使标准条件不成立。

提出的方法

• 提出一个适用于正确设定和错误设定模型的一般后验一致性定理，使用Hellinger球的覆盖论证。
• 采用受Barron的可忽略先验质量条件启发的分块策略，以处理非总体有界的模型。
• 应用Walker的相容性框架，通过基于Kullback-Leibler散度分离的检验序列构造。
• 引入一个关键量 $ \pi_{P_0}(W,B) $，用于在 $ P_0 $ 下度量集合 $ W $ 和 $ B $ 之间的分离程度，以量化后验集中程度。
• 依赖于对似然比 $ \mathbb{E}_{P_0}[ (dP/dQ)^\alpha ] $ 的新颖界，以控制后验尾部概率。
• 证明KL邻域中先验质量的下界足以保证后验一致性和收敛速率，即使Ghosal-Ghosh-van der Vaart条件不成立。

实验结果

研究问题

• RQ1 是否可以在不假设模型在Hellinger度量下总体有界的情况下建立后验一致性？
• RQ2 是否可能在KL先验不存在的模型中实现后验一致性，例如具有有界支撑的location-scale族？
• RQ3 第二阶Ghosal-Ghosh-van der Vaart条件能否被KL邻域中先验质量的下界所替代？
• RQ4 该框架是否支持在标准条件不成立的重尾分布参数模型中实现后验收敛速率？
• RQ5 在支持边界估计的模型中，是否可在无KL先验的情况下实现边际半参数一致性？

主要发现

• 即使模型在Hellinger度量下不总体有界，KL邻域中先验质量的下界仍足以保证后验一致性。
• 该框架将Schwartz定理推广至错误设定模型，并允许在KL先验不存在的模型中实现一致估计。
• 在KL先验不可用的半参数模型中，支持边界估计的一致性已建立。
• 第二阶Ghosal-Ghosh-van der Vaart条件可被KL邻域中先验质量的下界所替代，从而实现后验收敛速率。
• 在标准Ghosal-Ghosh-van der Vaart条件无法被任何先验满足的重尾分布参数模型中，推导出了后验收敛速率。
• 该方法适用于使用具有完整弱支撑的Dirichlet或Gibbs型先验在混合模型中实现一致密度估计。