[论文解读] Asymptotic normality, concentration, and coverage of generalized posteriors

Jeffrey W. Miller|arXiv (Cornell University)|Jul 22, 2019

Statistical Methods and Bayesian Inference参考文献 76被引用 27

一句话总结

本文建立了广义后验分布——源自非似然函数（如伪似然、部分似然和稳健似然）——在渐近正态性、集中性、Laplace近似及正确频率覆盖方面的一般性、可验证条件。其核心贡献是一个统一的、几乎必然收敛的框架，适用于独立同分布和非独立同分布情形，即使在模型误设下也成立，且无需假设存在真实的底层概率模型。

ABSTRACT

Generalized likelihoods are commonly used to obtain consistent estimators with attractive computational and robustness properties. Formally, any generalized likelihood can be used to define a generalized posterior distribution, but an arbitrarily defined "posterior" cannot be expected to appropriately quantify uncertainty in any meaningful sense. In this article, we provide sufficient conditions under which generalized posteriors exhibit concentration, asymptotic normality (Bernstein-von Mises), an asymptotically correct Laplace approximation, and asymptotically correct frequentist coverage. We apply our results in detail to generalized posteriors for a wide array of generalized likelihoods, including pseudolikelihoods in general, the Gaussian Markov random field pseudolikelihood, the fully observed Boltzmann machine pseudolikelihood, the Ising model pseudolikelihood, the Cox proportional hazards partial likelihood, and a median-based likelihood for robust inference of location. Further, we show how our results can be used to easily establish the asymptotics of standard posteriors for exponential families and generalized linear models. We make no assumption of model correctness so that our results apply with or without misspecification.

研究动机与目标

• 为评估标准似然之外广义后验分布的渐近有效性，提供一个通用的理论框架。
• 解决广义贝叶斯推断中关于集中性、渐近正态性和频率覆盖性缺乏统一条件的问题。
• 通过提供易于验证的标准，使广义后验分布能在复杂模型（如空间模型、网络模型、生存模型）中实现实际应用。
• 在不假设存在真实概率模型的前提下，将Bernstein–von Mises理论扩展至非独立同分布和模型误设情形。
• 统一并推广现有关于标准后验与广义后验的一致性及渐近正态性的结果。

提出的方法

• 将广义后验形式化为 $ \pi_n(\theta) \propto \exp(-n f_n(\theta)) \pi(\theta) $，将 $ f_n $ 视为确定性的函数序列。
• 采用确定性序列方法，将概率论与实分析解耦，从而获得几乎必然收敛结果。
• 应用广义控制收敛定理，证明渐近正态性与Laplace近似。
• 引入一项新条件（条件3）以替代UCT假设，确保后验集中性，而无需依赖真实模型。
• 通过定理7推导出对 $ f_n $、$ f_n' $ 和 $ f_n'' $ 的正则性条件，避免事先假设光滑性。
• 在多种示例中验证结果：伊辛模型、Cox回归、玻尔兹曼机以及基于中位数的稳健似然。

实验结果

研究问题

• RQ1 在缺乏正确指定模型的情况下，广义后验分布在何种条件下会集中在真实参数值附近？
• RQ2 在非独立同分布或模型误设情形下，广义后验何时能实现渐近正态性（即Bernstein–von Mises性质）？
• RQ3 在温和正则性条件下，广义后验的Laplace近似是否渐近正确？
• RQ4 由广义后验导出的可信集是否能实现渐近正确的频率覆盖？
• RQ5 该理论框架如何应用于指数族中的标准后验及广义线性模型？

主要发现

• 在温和条件下，广义后验分布即使在无真实概率模型时，也能实现对真实参数的几乎必然收敛。
• Bernstein–von Mises定理对广义后验成立，且收敛形式为总变差距离的几乎必然收敛，而不仅是在概率意义下的收敛。
• 为伪似然、部分似然和稳健似然提供了渐近正态性与Laplace近似的充分条件，并已验证。
• 该方法适用于独立同分布与非独立同分布数据，包括空间模型、网络模型和生存模型，在模型误设下亦成立。
• 该框架可恢复并推广标准后验在指数族与广义线性模型中的渐近理论。
• 证明技术避免了常见假设（如共同支撑集），转而直接分析 $ f_n $，从而具备更广泛的应用潜力。