[论文解读] Learning under Model Misspecification: Applications to Variational and Ensemble methods

Andrés R. Masegosa|arXiv (Cornell University)|Dec 18, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用 16

一句话总结

本文提出了一种新颖的二阶PAC-Bayes框架，揭示了在模型误设情况下，贝叶斯模型平均会导致次优泛化。通过最小化更紧致的PAC-Bayes界，作者推导出新的变分与集成方法，生成一种非贝叶斯后验分布，显著提升了预测性能，在贝叶斯神经网络和真实世界数据集上均得到验证。

ABSTRACT

Virtually any model we use in machine learning to make predictions does not perfectly represent reality. So, most of the learning happens under model misspecification. In this work, we present a novel analysis of the generalization performance of Bayesian model averaging under model misspecification and i.i.d. data using a new family of second-order PAC-Bayes bounds. This analysis shows, in simple and intuitive terms, that Bayesian model averaging provides suboptimal generalization performance when the model is misspecified. In consequence, we provide strong theoretical arguments showing that Bayesian methods are not optimal for learning predictive models, unless the model class is perfectly specified. Using novel second-order PAC-Bayes bounds, we derive a new family of Bayesian-like algorithms, which can be implemented as variational and ensemble methods. The output of these algorithms is a new posterior distribution, different from the Bayesian posterior, which induces a posterior predictive distribution with better generalization performance. Experiments with Bayesian neural networks illustrate these findings.

研究动机与目标

• 分析在模型误设情况下贝叶斯模型平均的泛化性能。
• 识别当模型误设时贝叶斯方法在预测任务中表现欠佳的原因。
• 基于更紧致的PAC-Bayes界，开发一类具有更好泛化性能的类贝叶斯算法。
• 设计所提方法的可扩展变分与集成实现。
• 在贝叶斯神经网络和标准基准上，通过实验验证改进的预测性能。

提出的方法

• 推导出一类新的二阶PAC-Bayes界，在模型误设下比一阶界更紧致。
• 最小化这些二阶界，推导出一种与标准贝叶斯后验不同的新后验分布。
• 将所得学习算法表述为一种广义变分推断方法，其损失函数中引入了针对模型误设的校正项。
• 将该方法实现为变分推断与集成学习算法，使用蒙特卡洛采样计算预测分布。
• 为保持与贝叶斯原则的一致性，在界中使用常数 $ c = 1 $，尽管优化 $ c $ 被认为是未来潜在的改进方向。
• 将该方法应用于贝叶斯神经网络，并在Fashion-MNIST和CIFAR-10等标准数据集上，评估其在监督与自监督任务中的表现。

实验结果

研究问题

• RQ1 当模型误设时，为何贝叶斯模型平均无法实现良好泛化？
• RQ2 在模型误设下，更紧致的PAC-Bayes界是否能提升类贝叶斯学习的泛化性能？
• RQ3 标准贝叶斯后验与所提后验之间的结构差异是什么？这种差异如何影响预测性能？
• RQ4 所提的变分与集成方法在预测对数似然方面，相较于标准贝叶斯推断与MAP方法表现如何？
• RQ5 所提方法能否有效扩展并应用于贝叶斯神经网络等深度学习模型？

主要发现

• 贝叶斯后验最小化一阶PAC-Bayes界，该界在模型误设下变得松散，导致次优泛化。
• 所提出的二阶PAC-Bayes界更紧致，生成的新后验显著提升了泛化性能。
• 在Fashion-MNIST上，PAC²ₜ-Variational方法在自监督正常任务中实现了-3.9668e+09的测试预测对数似然，优于贝叶斯变分方法。
• 在CIFAR-10上，PAC²ₜ-Ensemble方法在自监督正常任务中实现了-4.8795e+09的测试对数似然，显著优于贝叶斯集成方法。
• PAC²ₜ-Variational方法在Fashion-MNIST的监督任务中实现了-3558.94的测试对数似然，优于MAP基线方法的-4237.11。
• 所提方法诱导出截距参数方差更高的后验，从而生成更具鲁棒性的预测分布，更匹配数据噪声，如图1所示。