[论文解读] Learning PAC-Bayes Priors for Probabilistic Neural Networks

María Pérez‐Ortiz, Omar Rivasplata+6 more|arXiv (Cornell University)|Sep 21, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 7

一句话总结

本文研究了为概率性神经网络学习数据相关的PAC-Bayes先验，以改进泛化界和分类器性能。通过在不同数据子集上使用多种目标函数（包括贝叶斯启发式方法和数据增强方法）训练先验，结果表明，经过优化的先验在六个数据集上均能持续提供紧密的风险证书，即使在过参数化模型中亦是如此，从而推动了自认证学习的发展。

ABSTRACT

Recent works have investigated deep learning models trained by optimising PAC-Bayes bounds, with priors that are learnt on subsets of the data. This combination has been shown to lead not only to accurate classifiers, but also to remarkably tight risk certificates, bearing promise towards self-certified learning (i.e. use all the data to learn a predictor and certify its quality). In this work, we empirically investigate the role of the prior. We experiment on 6 datasets with different strategies and amounts of data to learn data-dependent PAC-Bayes priors, and we compare them in terms of their effect on test performance of the learnt predictors and tightness of their risk certificate. We ask what is the optimal amount of data which should be allocated for building the prior and show that the optimum may be dataset dependent. We demonstrate that using a small percentage of the prior-building data for validation of the prior leads to promising results. We include a comparison of underparameterised and overparameterised models, along with an empirical study of different training objectives and regularisation strategies to learn the prior distribution.

研究动机与目标

• 研究学习数据相关的PAC-Bayes先验对概率性神经网络性能和泛化保证的影响。
• 确定学习有效先验所需的最优数据量，重点关注数据集特定的权衡。
• 评估不同训练目标和正则化策略在学习能产生紧密风险证书的先验方面的有效性。
• 评估过参数化模型在使用学习到的先验训练时，是否能获得强泛化保证。
• 探讨数据增强和Dropout在提升先验学习质量和最终风险证书紧密度中的作用。

提出的方法

• 作者通过优化PAC-Bayes界来训练概率性神经网络，其中先验分布从训练数据的子集学习得到，确保其与经验风险项保持数据独立。
• 他们比较了多种用于先验学习的训练目标，包括经验风险最小化（ERM）、贝叶斯启发式目标（如BNN风格的ELBO）以及基于mixup的正则化。
• 使用后验与先验之间的KL散度作为正则化项，通过超参数调优（KL权衡系数）进行基于梯度的先验优化。
• 该方法评估了风险证书（泛化误差的上界）和测试数据上的随机0-1误差，其中先验在不同比例的数据集上进行训练（10%、25%、50%）。
• 在先验学习过程中应用mixup和Dropout等数据增强技术，以提升泛化能力和先验质量。
• 该方法在六个多样化的数据集上进行了评估，包括MNIST、CIFAR-10和表格数据集，使用全连接网络和卷积网络。

实验结果

研究问题

• RQ1 用于学习PAC-Bayes先验的训练数据最优比例是多少？该比例是否因数据集而异？
• RQ2 用于先验学习的不同训练目标如何影响风险证书的紧密度和测试准确率？
• RQ3 数据相关的先验是否能显著改进过参数化神经网络的泛化界？
• RQ4 在先验学习过程中使用数据增强是否能带来更紧密的风险证书和更好的分类器性能？
• RQ5 先验的选择（特别是有信息的与无信息的）如何影响优化过程和最终模型性能？

主要发现

• 在所有六个数据集上，风险证书的紧密度均表现稳定，表明该方法对数据和架构变化具有鲁棒性。
• 使用贝叶斯启发式目标（$f_{\texttt{bbb}}$）学习完整先验分布，相比基于ERM的先验，能获得更紧密的风险证书和更低的随机0-1误差。
• 在先验学习过程中使用mixup正则化显著提升了性能，仅使用10%的数据即可实现紧密证书，优于使用50%数据的ERM方法。
• 在MNIST数据集上，使用25%训练数据时，基于mixup的先验学习方法实现了0.041的风险证书和0.025的随机0-1误差，优于使用50%数据的ERM方法。
• 在先验学习中使用Dropout可进一步提升结果，当使用50%数据时，风险证书降至0.026，误差降至0.020。
• PAC-Bayes界中的KL项主导了界值，表明选择合适的先验对获得紧密泛化保证至关重要。