[论文解读] Deep Bayesian regression models

Aliaksandr Hubin, Geir Storvik+1 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 35被引用 4

一句话总结

本文提出了深度贝叶斯回归模型（DBRM），一种将深度学习的非线性特征工程与贝叶斯推断相结合的框架，以实现可解释性、不确定性量化的回归。通过使用基于MCMC的算法进行模型选择与平均，DBRM在保持不确定性量化的同时实现了优越的预测性能，其可信区间具有数学基础，优于基准示例中的最先进方法。

ABSTRACT

Regression models are used for inference and prediction in a wide range of applications providing a powerful scientific tool for researchers and analysts from different fields. In many research fields the amount of available data as well as the number of potential explanatory variables is rapidly increasing. Variable selection and model averaging have become extremely important tools for improving inference and prediction. However, often linear models are not sufficient and the complex relationship between input variables and a response is better described by introducing non-linearities and complex functional interactions. Deep learning models have been extremely successful in terms of prediction although they are often difficult to specify and potentially suffer from overfitting. The aim of this paper is to bring the ideas of deep learning into a statistical framework which yields more parsimonious models and allows to quantify model uncertainty. To this end we introduce the class of deep Bayesian regression models (DBRM) consisting of a generalized linear model combined with a comprehensive non-linear feature space, where non-linear features are generated just like in deep learning but combined with variable selection in order to include only important features. DBRM can easily be extended to include latent Gaussian variables to model complex correlation structures between observations, which seems to be not easily possible with existing deep learning approaches. Two different algorithms based on MCMC are introduced to fit DBRM and to perform Bayesian inference. The predictive performance of these algorithms is compared with a large number of state of the art algorithms. Furthermore we illustrate how DBRM can be used for model inference in various applications.

研究动机与目标

• 开发一种统计上严谨的框架，将深度学习的非线性特征提取与贝叶斯推断相结合，以提升模型的可解释性与不确定性量化能力。
• 通过在贝叶斯回归框架中嵌入深度特征学习，解决深度学习的局限性，如可解释性差、过拟合以及缺乏不确定性度量。
• 通过组合优化与变量选择实现自动、数据驱动的相关非线性特征选择，利用信息性先验避免过拟合。
• 将模型扩展至包含潜在高斯过程，以捕捉观测之间的复杂相关结构，这一能力在标准深度学习中通常缺失。
• 提供一种可扩展、计算上可行的贝叶斯深度学习方法，支持模型平均与边际似然估计，以实现模型比较。

提出的方法

• 提出一种层次化贝叶斯模型，其中非线性特征通过类似深度神经网络的变换逐层生成，但引入贝叶斯先验以控制复杂度。
• 采用马尔可夫链蒙特卡洛（MCMC）算法——特别是GMJMCMC与RGMJMCMC——进行后验推断，以探索模型空间并实现模型平均。
• 提出一种特征工程策略，结合非线性变换与变量选择，仅通过后验模型概率保留统计显著的特征。
• 通过桥接抽样与拉普拉斯近似方法进行边际似然估计，用于模型比较与最优架构选择。
• 支持引入潜在高斯过程以建模数据中的复杂依赖结构，使模型超越独立观测的假设。
• 在EMJMCMC R包中实现了一种内存高效、可并行化的MCMC算法，使中等到大规模数据集上的可扩展推断成为可能。

实验结果

研究问题

• RQ1 能否将贝叶斯框架与深度特征工程有效结合，以生成既高度可预测又可解释的模型？
• RQ2 如何通过完全贝叶斯方法而非近似方法，严格量化深度学习模型中的模型不确定性？
• RQ3 与标准深度学习和经典回归相比，深度特征空间中的自动模型选择与变量选择在多大程度上能提升预测性能？
• RQ4 潜在高斯过程能否被有效整合到深度学习架构中，以建模数据中的复杂相关结构？
• RQ5 在深度特征生成过程中优化特征权重的不同策略之间，计算上的权衡是什么？

主要发现

• DBRM在多个基准示例中，相较于广泛的最先进算法（包括深度神经网络与经典回归模型），实现了更优的预测性能。
• 基于MCMC的模型平均与边际似然估计使不确定性量化更加校准，可信区间具有数学依据且可解释。
• 所提出的特征工程策略——基于非线性变换后接变量选择——在计算效率与预测准确性方面优于更复杂的优化策略。
• 引入潜在高斯变量使模型能够捕捉数据中的复杂相关结构，这是标准深度学习框架难以实现的能力。
• EMJMCMC R包提供了可扩展且灵活的实现，支持多种先验设定与边际似然估计技术，支持可重现与可扩展的研究。
• 尽管计算需求较高，该框架在中等到大规模数据集上仍具可行性，未来可通过子采样MCMC技术进一步扩展至大数据场景。