[论文解读] Using bagged posteriors for robust inference and model criticism

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Dec 15, 2019

Bayesian Methods and Mixture Models参考文献 65被引用 10

一句话总结

本文提出 BayesBag，一种鲁棒的贝叶斯推断方法，通过平均自 resampled 数据集得到的后验分布，提升在模型误设情况下的可靠性。该文建立了 BayesBag 的渐近理论，提出一种基于模型与数据不匹配的指数以实现模型批评，并通过多种模型验证了 BayesBag 在提升预测准确性、可重复性及正确模型选择方面的优势——尤其在模型误设时表现更优，同时在模型正确设定时仍保持强劲性能。

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior (BayesBag); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we comprehensively develop the asymptotic theory of BayesBag, propose a model--data mismatch index for model criticism using BayesBag,and empirically validate our theory and methodology on synthetic and real-world data in linear regression (both feature selection and parameter inference), sparse logistic regression, a hierarchical mixed effects model, and phylogenetic tree reconstruction. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences, has better predictive accuracy, and selects correct models more often than the standard Bayesian posterior; meanwhile, when the model is correctly specified, BayesBag produces superior or equally good results for parameter inference and prediction, while being slightly more conservative for model selection. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

研究动机与目标

• 解决标准贝叶斯推断对模型误设的已知敏感性问题，该问题会削弱不确定性量化和预测性能。
• 开发一种通用、计算上可行的鲁棒贝叶斯推断方法，保持贝叶斯方法的建模灵活性，同时提升分布鲁棒性。
• 基于 BayesBag 提出一种模型-数据不匹配指数，以实现系统性的模型批评与误设诊断。
• 在包括线性回归、稀疏逻辑回归、层次模型和系统发育树重建在内的多种统计模型中，验证 BayesBag 的理论与实际优势。
• 证明 BayesBag 在模型误设情况下，相较于标准贝叶斯推断和仅使用自助法，在鲁棒性、可重复性和预测准确性方面表现更优。

提出的方法

• 通过重复有放回地重采样数据，并为每个自助样本计算后验分布，对后验分布应用袋装（bagging）方法。
• 将 BayesBag 后验分布定义为各个自助样本后验分布的平均值，从而平滑数据变异性，降低对模型误设的敏感性。
• 在正则条件下建立 BayesBag 的渐近理论，证明其在模型误设情况下的相合性与鲁棒性。
• 提出一种基于自助样本后验分布变异性的模型-数据不匹配指数，用于量化假设模型与观测数据之间的不一致程度。
• 利用该不匹配指数检测并诊断模型误设，实现无需完全正确模型的模型批评。
• 在包括特征选择、参数推断和层次建模在内的多种统计模型中，使用合成数据和真实世界数据实现并评估该方法。

实验结果

研究问题

• RQ1 在模型误设情况下，对贝叶斯后验进行袋装（即 BayesBag）是否能提供比标准贝叶斯方法更鲁棒的推断？
• RQ2 当假设模型错误时，BayesBag 在预测准确性和参数估计方面的表现如何？
• RQ3 能否利用自助样本后验分布的变异性构建一个可靠的模型-数据不匹配检测指数？
• RQ4 当模型正确设定时，BayesBag 是否仍保持强劲性能，还是在效率上有所损失？
• RQ5 在模型误设设置下，BayesBag 相较于标准贝叶斯推断，在模型选择和可重复性方面有哪些改进？

主要发现

• 在显著模型误设情况下，BayesBag 的推断结果比标准贝叶斯后验更具可重复性，对数据扰动的敏感性更低。
• 在模型误设情况下，BayesBag 的预测准确性优于标准贝叶斯推断，尤其在线性回归和稀疏逻辑回归中表现更优。
• 在模型选择任务中，当模型误设时，BayesBag 比标准贝叶斯方法更频繁地选择正确模型。
• 当模型正确设定时，BayesBag 产生的参数估计和预测结果与标准贝叶斯推断相当或更优，且模型选择略为保守。
• 基于 BayesBag 提出的模型-数据不匹配指数能有效检测误设，为模型批评提供实用工具。
• 在多种模型（包括线性回归、稀疏逻辑回归、层次混合效应模型和系统发育树重建）中的实证结果，证实了 BayesBag 的鲁棒性与普适性。