[论文解读] Deep Gaussian Processes: A Survey

Kalvik Jakkala|arXiv (Cornell University)|Jun 21, 2021

Gaussian Processes and Bayesian Inference参考文献 36被引用 14

一句话总结

本综述全面概述了深度高斯过程（DGPs），详细阐述了其动机、数学基础、局限性以及过去十年中的关键进展。它整合了核心技术如稀疏GP和贝叶斯GPLVM，评估了主要的DGP方法，并指出了在可扩展性、不确定性估计和复杂函数空间建模方面的开放性挑战。

ABSTRACT

Gaussian processes are one of the dominant approaches in Bayesian learning. Although the approach has been applied to numerous problems with great success, it has a few fundamental limitations. Multiple methods in literature have addressed these limitations. However, there has not been a comprehensive survey of the topics as of yet. Most existing surveys focus on only one particular variant of Gaussian processes and their derivatives. This survey details the core motivations for using Gaussian processes, their mathematical formulations, limitations, and research themes that have flourished over the years to address said limitations. Furthermore, one particular research area is Deep Gaussian Processes (DGPs), it has improved substantially in the past decade. The significant publications that advanced the forefront of this research area are outlined in their survey. Finally, a brief discussion on open problems and research directions for future work is presented at the end.

研究动机与目标

• 提供一份统一且深入的深度高斯过程（DGPs）综述，作为深度学习的贝叶斯替代方案。
• 识别并分析标准高斯过程的核心局限性，包括计算成本、核函数限制和可扩展性问题。
• 研究DGPs如何通过堆叠的GP层实现层次特征学习和不确定性量化。
• 评估最先进的DGP方法，包括稀疏GP、贝叶斯GPLVM以及基于神经过程的近似方法。
• 突出在真实数据集（如ImageNet）上模型可扩展性、函数空间建模和不确定性估计方面的开放性问题。

提出的方法

• 采用高斯过程的分层堆叠结构，在贝叶斯框架下建模复杂且非线性的特征层次结构。
• 应用稀疏近似技术，特别是Nyström方法，以降低DGPs的计算和存储成本。
• 采用变分推理来近似DGPs中诱导点和隐含函数的后验分布。
• 将贝叶斯GPLVM作为DGP的基础，实现非线性变换过程中的不确定性传播。
• 回顾基于DNN的随机过程近似方法，如Garnelo等人提出的方法，以建模超越传统核函数的函数空间。
• 考虑基于能量的模型和超网络作为扩展DGP函数空间表达能力的潜在路径。

实验结果

研究问题

• RQ1 深度高斯过程在建模复杂、分层数据方面相较于标准高斯过程有何改进？
• RQ2 传统GP和DGP方法在计算和统计方面的主要局限性是什么？
• RQ3 现代DGP方法（如稀疏GP和贝叶斯GPLVM）在实现不确定性量化和层次特征学习方面有何机制？
• RQ4 DGP模型在多大程度上能够扩展到大规模、结构化数据集（如ImageNet）？
• RQ5 在超越基于核函数或DNN的函数空间建模方面，哪些是最具前景的未来发展方向？

主要发现

• 深度高斯过程为不确定性估计、因果建模和领域知识整合提供了原则化的贝叶斯方法，弥补了频率派深度学习的关键缺陷。
• 特别是采用Nyström方法的稀疏GP近似，显著降低了计算成本，同时保持了良好的预测性能。
• 贝叶斯GPLVM能够实现非线性变换中的不确定性传播，为不确定性感知的深度概率模型提供了基础。
• 尽管已有进展，但大多数DGP方法仅在浅层模型（最多十层）上进行测试，其在类似ImageNet所用深度架构上的可扩展性尚未得到验证。
• 依赖特定任务神经网络或固定核函数的DGP方法在表达能力和泛化性方面存在局限，表明需要更灵活的函数空间建模方法。
• 新兴方法如基于能量的过程和超网络在扩展DGP能力方面展现出潜力，但其计算成本较高，尚未成熟到可实际部署的程度。