[论文解读] General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications

Abhik Ghosh, Majumder, Tuhin+1 more|arXiv (Cornell University)|Aug 31, 2017

Advanced Statistical Methods and Models参考文献 61被引用 4

一句话总结

本文提出一种基于密度幂发散（density power divergence）的通用鲁棒贝叶斯伪后验，以在模型误设和数据污染条件下实现指数收敛。该方法将鲁棒贝叶斯推断扩展至参数模型，包括线性回归与逻辑斯蒂回归，具备理论保证，并通过MCMC实现后验计算。

ABSTRACT

Although Bayesian inference is an immensely popular paradigm among a large segment of scientists including statisticians, most applications consider objective priors and need critical investigations (Efron, 2013, Science). While it has several optimal properties, a major drawback of Bayesian inference is the lack of robustness against data contamination and model misspecification, which becomes pernicious in the use of objective priors. This paper presents the general formulation of a Bayes pseudo-posterior distribution yielding robust inference. Exponential convergence results related to the new pseudo-posterior and the corresponding Bayes estimators are established under the general parametric set-up and illustrations are provided for the independent stationary as well as non-homogeneous models. Several additional details and properties of the procedure are described, including the estimation under fixed-design regression models.

研究动机与目标

• 为解决标准贝叶斯推断在模型误设和数据污染下非鲁棒的问题，特别是使用客观先验时。
• 构建一个通用的鲁棒贝叶斯推断框架，即使在模型错误或数据含异常值时仍保持理想的渐近性质。
• 在一般参数模型下，建立所提伪后验及其对应估计量的指数收敛速率。
• 将鲁棒推断框架扩展至固定设计回归模型，包括线性回归与逻辑斯蒂回归。
• 通过Metropolis-Hastings MCMC实现计算可行的后验采样与鲁棒后验期望估计。

提出的方法

• 提出一种基于密度幂发散（DPD）与调优参数α的广义鲁棒贝叶斯伪后验，以替代贝叶斯定理中的似然函数。
• 将α-似然函数定义为基于发散的损失函数，可降低异常值影响，对模型偏差具有鲁棒性。
• 将基于DPD的损失与先验结合，形成鲁棒后验核，从而在频率学鲁棒性原则下实现鲁棒估计。
• 在独立同分布及非同质设定下，于正则条件下推导伪后验及其估计量的指数收敛速率。
• 将该方法应用于固定设计的线性与逻辑斯蒂回归模型，对回归系数使用正态先验。
• 通过带自适应提议分布的Metropolis-Hastings MCMC实现后验计算，包含烧尽期与收敛诊断。

实验结果

研究问题

• RQ1 能否构建一种通用的鲁棒贝叶斯伪后验，使其在模型误设与数据污染下仍保持指数收敛？
• RQ2 在参数模型中，尤其使用客观先验时，所提伪后验在鲁棒性与收敛性方面表现如何？
• RQ3 在独立、平稳及非同质模型中，伪后验及其估计量的理论收敛速率为何？
• RQ4 如何在高维或复杂回归模型（如逻辑斯蒂回归）中高效计算鲁棒后验？
• RQ5 该方法在保持频率学鲁棒性的同时，能在多大程度上保留贝叶斯可解释性与最优渐近性质？

主要发现

• 所提鲁棒贝叶斯伪后验在一般参数模型下，对后验分布及其相关估计量均实现了指数收敛速率。
• 即使在模型误设与数据污染条件下，该方法仍能提供鲁棒推断，尤其在使用客观先验时效果显著。
• 在线性与逻辑斯蒂回归模型中，鲁棒后验可产生稳定估计，对异常值的敏感性显著低于标准贝叶斯方法。
• 采用Metropolis-Hastings MCMC的后验计算成功实现了对鲁棒后验的采样，收敛性在烧尽期后（如25,000次迭代）得以观察。
• 实证结果表明，R^α-后验的估计后验均值（ERPE）与方差在不同α值下均表现稳定且校准良好。
• 调优参数α控制鲁棒性：较小值（如α = 0.5）提供更强的抗污染能力，而较大值则趋近于标准似然推断。