[论文解读] GPflux: A Library for Deep Gaussian Processes

Vincent Dutordoir, Hugh Salimbeni+8 more|arXiv (Cornell University)|Apr 12, 2021

Gaussian Processes and Bayesian Inference参考文献 16被引用 7

一句话总结

GPflux 是一个 Python 库，通过集成 GPflow 和 Keras，使基于深度高斯过程（DGPs）的贝叶斯深度学习成为可能，提供模块化、可扩展且高效的最先进 DGP 模型与推理方法实现。它支持在统一、生产就绪的框架中混合使用贝叶斯与标准神经网络层，具备完整的 Keras 兼容性。

ABSTRACT

We introduce GPflux, a Python library for Bayesian deep learning with a strong emphasis on deep Gaussian processes (DGPs). Implementing DGPs is a challenging endeavour due to the various mathematical subtleties that arise when dealing with multivariate Gaussian distributions and the complex bookkeeping of indices. To date, there are no actively maintained, open-sourced and extendable libraries available that support research activities in this area. GPflux aims to fill this gap by providing a library with state-of-the-art DGP algorithms, as well as building blocks for implementing novel Bayesian and GP-based hierarchical models and inference schemes. GPflux is compatible with and built on top of the Keras deep learning eco-system. This enables practitioners to leverage tools from the deep learning community for building and training customised Bayesian models, and create hierarchical models that consist of Bayesian and standard neural network layers in a single coherent framework. GPflux relies on GPflow for most of its GP objects and operations, which makes it an efficient, modular and extensible library, while having a lean codebase.

研究动机与目标

• 解决贝叶斯深度学习中缺乏活跃维护、可扩展且开源的深度高斯过程（DGPs）库的问题。
• 为研究人员提供可重用、模块化的组件，以高效实现新型 DGP 模型与推理方法。
• 使实践者能够使用标准深度学习工具链构建、训练并部署混合贝叶斯与深度神经网络模型。
• 通过抽象多变量高斯分布的条件化与索引管理等数学细节，降低实现 DGPs 的复杂性。
• 通过持续集成、超过 97% 的测试覆盖率以及全面的文档，确保代码质量和可用性。

提出的方法

• GPflux 基于 TensorFlow 构建，并与 Keras 集成，支持无缝使用深度学习生态系统的工具，如模型编译、回调函数与模型保存。
• 它利用 GPflow 实现核心高斯过程运算，确保高效性与模块化，同时保持代码库简洁。
• 该库提供专用层，如 GPLayer 用于 DGP 组件，LatentVariableLayer 用于扩展输入空间，以及 ConvolutionalGP 层用于结构化数据。
• 它使用 TensorFlow Probability 的 DistributionLambda 处理由 GP 层输出的概率分布，支持重参数化，实现端到端训练。
• 该框架支持将 GPflux 层与标准 Keras 层（如 Dense、Conv2D）组合的混合模型，支持灵活、分层的模型设计。
• 推理基于通过稀疏诱导点的变分近似，ELBO 损失被自动分解为数据拟合项与 KL 复杂度项，由各层统一处理。

实验结果

研究问题

• RQ1 如何在现代深度学习生态系统中，以模块化、可扩展且生产就绪的方式实现深度高斯过程？
• RQ2 为简化新型 DGP 模型与推理方法的实现，需要哪些架构抽象？
• RQ3 如何利用现有的深度学习工具链，高效训练结合高斯过程与标准神经网络的贝叶斯深度学习模型？
• RQ4 现有深度学习框架（如 Keras）在多大程度上可被扩展以支持高斯过程的完整贝叶斯推理？
• RQ5 如何抽象多层、多输出高斯过程中的数学复杂性（如索引追踪与无限基函数），以实现实际应用？

主要发现

• GPflux 提供了一个完全开源、持续维护的深度高斯过程库，填补了贝叶斯深度学习生态系统中的关键空白。
• 该库测试覆盖率超过 97%，并与 Keras 兼容，支持与成熟深度学习工作流（如 TensorBoard 监控与模型检查点）的无缝集成。
• 通过 Sequential 或自定义模型，可将 GPflux 层与标准 Keras 层组合构建混合模型，支持使用标准优化器进行端到端训练。
• 该框架成功抽象了多变量高斯条件化与重参数化等复杂数学运算，显著降低了实现负担。
• 得益于其模块化与可组合的设计，GPflux 使研究人员能够以极少样板代码构建并评估新型 DGP 模型与推理方法。
• 该库支持高级 DGP 组件（如潜在变量层与卷积高斯过程），有助于对复杂、非高斯数据分布进行建模。