[论文解读] Benchmarking the Neural Linear Model for Regression

Sebastian W. Ober, Carl Edward Rasmussen|arXiv (Cornell University)|Dec 18, 2019

Gaussian Processes and Bayesian Inference参考文献 23被引用 12

一句话总结

本论文在UCI和UCI 'gap'数据集上对神经线性模型（NLM）进行了基准测试，评估了四种训练变体：MAP、正则化、最大似然或贝叶斯优化的贝叶斯噪声。主要发现是，超参数的切片采样能提升性能，尤其是在对数似然方面，但影响因模型而异，正则化和BN(BO)-2 NLM模型可能因此受到损害。

ABSTRACT

The neural linear model is a simple adaptive Bayesian linear regression method that has recently been used in a number of problems ranging from Bayesian optimization to reinforcement learning. Despite its apparent successes in these settings, to the best of our knowledge there has been no systematic exploration of its capabilities on simple regression tasks. In this work we characterize these on the UCI datasets, a popular benchmark for Bayesian regression models, as well as on the recently introduced UCI "gap" datasets, which are better tests of out-of-distribution uncertainty. We demonstrate that the neural linear model is a simple method that shows generally good performance on these tasks, but at the cost of requiring good hyperparameter tuning.

研究动机与目标

• 系统评估神经线性模型（NLM）在标准回归基准（UCI数据集）上的表现，以及在分布外不确定性测试（UCI gap数据集）中的表现。
• 探究不同训练策略（MAP、正则化、贝叶斯噪声）对NLM性能的影响。
• 评估超参数（噪声和先验方差）的切片采样在提升不确定性校准和预测性能方面的作用。
• 在对数似然和RMSE方面，将NLM的性能与标准基线进行比较，特别是在分布偏移情况下的表现。
• 确定通过贝叶斯优化进行超参数调优是否对实现NLM最优性能至关重要。

提出的方法

• 训练神经网络以从输入中提取特征，然后在最后一层激活值上应用精确的贝叶斯线性回归。
• 使用最大后验概率（MAP）估计训练网络，随后通过切片采样对噪声和先验方差进行边际化。
• 实现一种正则化NLM，联合优化网络权重和超参数的边际似然，以改善不确定性校准。
• 引入一种贝叶斯噪声NLM，对权重和噪声方差使用正态-逆伽马先验，实现所有超参数的联合优化。
• 在未联合优化超参数的模型中（如BN(BO)-NL），应用贝叶斯优化进行超参数调优。
• 在所有模型中使用切片采样对非权重超参数进行边际化，以确保不确定性估计的稳健性。

实验结果

研究问题

• RQ1 与基线方法相比，神经线性模型在标准UCI回归数据集上的表现如何？
• RQ2 在UCI 'gap'数据集上测试时，神经线性模型在分布外数据上是否具有良好的泛化能力？
• RQ3 对超参数进行切片采样对预测性能和不确定性校准有何影响？
• RQ4 哪种训练策略（MAP、正则化或贝叶斯噪声）能产生最稳健且校准良好的预测？
• RQ5 通过贝叶斯优化进行超参数调优是否对实现NLM最优性能至关重要，还是联合优化方法已足够？

主要发现

• 神经线性模型在标准UCI回归数据集上总体表现优异，尤其是在结合切片采样和适当的超参数调优时。
• 切片采样显著提升了大多数模型的对数似然，尤其在MAP-2 NL和BN(ML)-2 NL模型中表现明显，且在多个数据集上均有改善。
• 正则化NLM和BN(BO)-2 NL模型在应用切片采样后可能出现性能下降，表明其可能对这些变体有害。
• 在UCI 'gap'数据集上，切片采样在大多数模型中提升了对数似然表现，但对RMSE的影响通常不具统计显著性。
• 当使用切片采样时，BN(BO)-2 NL模型在分布外区域的不确定性校准略有恶化，表明可能存在过度自信。
• 总体而言，切片采样在大多数情况下不会降低性能，且对MAP-2 NL等关键模型有益，但其影响具有模型依赖性，非普遍有利。