[论文解读] A Survey on Bayesian Deep Learning

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Apr 6, 2016

Machine Learning and Data Classification参考文献 104被引用 14

一句话总结

本综述将贝叶斯深度学习（BDL）介绍为一种统一的概率框架，将深度学习在感知方面的优势与概率图模型在推理方面的优势相结合，实现了不确定性量化和鲁棒性提升。综述回顾了BDL在推荐系统、医疗健康、自然语言处理和控制等领域的应用，通过基于贝叶斯原理的感知与推理联合建模，展示了其最先进的性能表现。

ABSTRACT

A comprehensive artificial intelligence system needs to not only perceive the environment with different `senses' (e.g., seeing and hearing) but also infer the world's conditional (or even causal) relations and corresponding uncertainty. The past decade has seen major advances in many perception tasks such as visual object recognition and speech recognition using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. In recent years, Bayesian deep learning has emerged as a unified probabilistic framework to tightly integrate deep learning and Bayesian models. In this general framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in turn, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a comprehensive introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, control, etc. Besides, we also discuss the relationship and differences between Bayesian deep learning and other related topics such as Bayesian treatment of neural networks. For a constantly updating project page, please refer to https://github.com/js05212/BayesianDeepLearning-Survey.

研究动机与目标

• 提出贝叶斯深度学习（BDL）作为统一框架的全面概述，用于统一感知与概率推理。
• 通过与贝叶斯网络及概率图模型的结合，解决深度学习在处理不确定性和因果推理方面的局限性。
• 展示BDL如何在医疗健康、推荐系统和控制等实际应用中提升性能与可解释性。
• 阐明BDL与相关方法（如贝叶斯神经网络和标准PGM）之间的区别。
• 识别在可扩展性、可解释性以及复杂依赖关系建模方面存在的开放挑战与未来研究方向。

提出的方法

• BDL模型采用深度学习组件用于感知（如图像或文本处理），并采用任务特定的贝叶斯网络来建模条件依赖关系与不确定性。
• 该框架采用变分推断和随机梯度变分贝叶斯（SGVB）来近似模型参数的后验分布。
• 使用贝叶斯神经网络（BNNs）作为感知组件，实现在预测中的不确定性量化。
• 任务特定组件被建模为贝叶斯网络，从而能够显式表示变量之间的因果关系与条件关系。
• 感知与推理之间的反馈回路被形式化，实现相互改进——例如，推理指导感知，感知为推理提供信息。
• 在模型结构中引入先验分布，以提升鲁棒性，特别是在数据稀疏区域，并嵌入领域知识。

实验结果

研究问题

• RQ1 贝叶斯深度学习如何统一深度学习的感知能力与概率图模型的推理能力？
• RQ2 哪些关键的架构与推断组件使得BDL模型能够有效实现不确定性量化？
• RQ3 与标准深度学习相比，BDL在医疗健康和推荐系统等应用中如何提升性能与鲁棒性？
• RQ4 贝叶斯先验与模型平均在低数据场景下如何增强泛化能力？
• RQ5 BDL模型在可扩展性方面面临的主要挑战是什么？近期高效的BNN进展如何帮助克服这些挑战？

主要发现

• BDL模型通过结合基于RNN的感知与结构化概率建模，实现了时间序列预测的最先进性能。
• 在医疗健康应用中，如DeepMarkov和DPFM等BDL模型，能够实现反事实推理，并对电子健康记录进行具备不确定性量化的稳健分析。
• 在BBFDR等模型中引入贝叶斯先验，实现了在癌症药物筛选中对错误发现率的有效控制，提升了统计推断的可靠性。
• 基于BDL的推荐系统通过联合建模用户偏好、物品内容与用户-物品相似性，并采用不确定性感知的推理，其性能优于非贝叶斯模型。
• 在BDL中使用双向推理网络可实现更深层、更具表达力的条件分布，从而在健康画像等任务中提升性能。
• BDL框架在语音识别中表现出显著改进，通过DeepGraph随机过程等模型对关系性话语结构进行建模，有效降低了词错误率。