[论文解读] Compromise-free Bayesian neural networks

Kamran Javid, Will Handley+2 more|arXiv (Cornell University)|Apr 25, 2020

Gaussian Processes and Bayesian Inference参考文献 39被引用 7

一句话总结

本文提出无妥协的贝叶斯神经网络（BNNs），采用精确嵌套采样对完整、非高斯的后验分布进行数值采样，并计算精确的贝叶斯证据（边缘似然），用于模型比较。研究发现贝叶斯证据与分布外性能之间存在强烈相关性，ReLU网络始终优于tanh网络，且通过跨架构集成BNN可进一步提升预测准确性，超越单个模型表现。

ABSTRACT

We conduct a thorough analysis of the relationship between the out-of-sample performance and the Bayesian evidence (marginal likelihood) of Bayesian neural networks (BNNs), as well as looking at the performance of ensembles of BNNs, both using the Boston housing dataset. Using the state-of-the-art in nested sampling, we numerically sample the full (non-Gaussian and multimodal) network posterior and obtain numerical estimates of the Bayesian evidence, considering network models with up to 156 trainable parameters. The networks have between zero and four hidden layers, either $ anh$ or $ReLU$ activation functions, and with and without hierarchical priors. The ensembles of BNNs are obtained by determining the posterior distribution over networks, from the posterior samples of individual BNNs re-weighted by the associated Bayesian evidence values. There is good correlation between out-of-sample performance and evidence, as well as a remarkable symmetry between the evidence versus model size and out-of-sample performance versus model size planes. Networks with $ReLU$ activation functions have consistently higher evidences than those with $ anh$ functions, and this is reflected in their out-of-sample performance. Ensembling over architectures acts to further improve performance relative to the individual BNNs.

研究动机与目标

• 探究贝叶斯神经网络中贝叶斯证据与分布外性能之间的关系。
• 评估激活函数（ReLU与tanh）、网络深度以及层次先验对模型证据与预测性能的影响。
• 开发并测试一种基于贝叶斯证据重加权个体BNN的集成方法，以提升泛化能力。
• 利用最先进的嵌套采样技术，提供严格且非近似的BNN性能基准。
• 将无妥协BNN与通过标准反向传播训练的传统神经网络（TNNs）进行性能对比。

提出的方法

• 本研究采用PolyChord嵌套采样算法，对具有最多156个可训练参数的BNN的完整、非高斯且多峰的后验分布进行数值采样。
• 贝叶斯证据（边缘似然）直接从嵌套采样输出中计算得出，实现无需高斯或拉普拉斯近似的精确模型比较。
• 网络采用不同架构进行训练：0至4个隐藏层，使用ReLU或tanh激活函数，以及不同层次先验结构（输入、层或变量超参数粒度）。
• 通过使用各自主张的贝叶斯证据值对个体网络后验样本进行重加权，构建BNN集成，形成模型平均的预测分布。
• 在波士顿房价数据集上，使用10次随机数据划分评估个体BNN及其集成的性能，主要指标为测试损失和贝叶斯证据。
• 通过使用与BNN相同架构和数据划分的Adam优化训练的传统神经网络（TNNs）作为基线进行比较，且不使用正则化。

实验结果

研究问题

• RQ1 在贝叶斯神经网络中，贝叶斯证据与分布外预测性能之间是否存在强相关性？
• RQ2 ReLU激活的BNN是否始终在贝叶斯证据和测试性能上优于tanh激活的BNN？
• RQ3 基于贝叶斯证据加权的BNN集成，其预测性能相较于个体BNN有何提升？
• RQ4 不同层次先验结构（超参数粒度）如何影响模型证据与泛化能力？
• RQ5 无妥协BNN与无正则化的标准反向传播训练神经网络（TNNs）相比，性能如何？

主要发现

• 在所有BNN架构中，贝叶斯证据与分布外性能之间存在强烈正相关，验证了贝叶斯证据作为可靠模型选择标准的有效性。
• ReLU激活的BNN在贝叶斯证据上显著更高，且测试损失更低，其中最佳ReLU模型的测试损失为0.1732。
• 跨架构集成BNN——特别是结合具有层粒度超参数的模型——实现了0.1732的测试损失，优于最佳单个BNN（0.1791）。
• 所有采用层粒度超参数训练的模型的集成达到了最低测试损失，表明证据加权集成能有效提升泛化能力。
• 所有使用变量超参数的BNN均优于其对应的TNN，而大多数情况下，tanh激活的TNN优于ReLU激活的TNN，凸显了贝叶斯正则化的优势。
• 组合模型的贝叶斯证据值介于各单个模型之间，证实了在模型平均下证据呈线性组合。