[论文解读] A Framework for Interdomain and Multioutput Gaussian Processes

Mark van der Wilk, Vincent Dutordoir+4 more|arXiv (Cornell University)|Mar 2, 2020

Gaussian Processes and Bayesian Inference参考文献 42被引用 63

一句话总结

论文引入了一个模块化、可扩展的变分框架，统一跨域高斯过程和多输出高斯过程，并提供基于 GPflow 的实现，以实现灵活、可测试的 GP 推断和深度 GP 架构。

ABSTRACT

One obstacle to the use of Gaussian processes (GPs) in large-scale problems, and as a component in deep learning system, is the need for bespoke derivations and implementations for small variations in the model or inference. In order to improve the utility of GPs we need a modular system that allows rapid implementation and testing, as seen in the neural network community. We present a mathematical and software framework for scalable approximate inference in GPs, which combines interdomain approximations and multiple outputs. Our framework, implemented in GPflow, provides a unified interface for many existing multioutput models, as well as more recent convolutional structures. This simplifies the creation of deep models with GPs, and we hope that this work will encourage more interest in this approach.

研究动机与目标

• 激发对模块化、可扩展的 GP 推断的需求，使其适用于大规模问题和深度 GP 集成。
• 给出一个统一的数学框架，将跨域近似与多输出 GP 模型结合起来。
• 展示该框架如何支持高效变分推断和小批量训练。
• 在 GPflow 中提供软件实现，使得对跨域和多输出结构的快速试验成为可能。

提出的方法

• 描述单输出与多输出设置下的高斯过程记号与运算。
• 解释跨域高斯过程的概念，包括跨域观测和诱变量。
• 为多输出高斯过程建立变分推断，并推导相应的后验和边际似然形式。
• 在 GPflow 中展示统一的软件框架，提供跨域近似和多输出模型的接口。
• 在该框架内演示诸如 Linear Model of Coregionalization 和基于图像的卷积GP 等方法。

实验结果

研究问题

• RQ1 如何在一个可扩展的变分框架中将跨域近似与多输出高斯过程集成？
• RQ2 提出的框架是否能够统一并简化现有的多输出 GP 模型，并支持新的架构（如具有卷积结构的深度 GP）？
• RQ3 跨域诱变量对多输出高斯过程的计算复杂度和推断效率有何影响？
• RQ4 该框架如何促进在实际场景中对多输出 GP 模型的快速试验与部署？

主要发现

• 该框架实现了跨域和多输出高斯过程的可扩展近似推断，具备适用于大规模数据集的复杂度降低。
• GPflow 提供了一个统一接口，覆盖了许多现有的多输出模型并支持卷积结构。
• 该方法支持变分诱变量和小批量训练以降低训练成本。
• 该框架推广了多种模型，包括 Linear Model of Coregionalization 与基于图像的 GP 构造。
• 它旨在通过移除每种变体的定制推导来简化包含 GP 的深度模型的开发。