[论文解读] Scaling Gaussian Processes with Derivative Information Using Variational Inference

Misha Padidar, Xinran Zhu+3 more|arXiv (Cornell University)|Jul 8, 2021

Gaussian Processes and Bayesian Inference参考文献 39被引用 9

一句话总结

本文提出了一种可扩展的变分推断方法，用于高斯过程回归并利用导数信息，通过引入诱导方向导数来稀疏化梯度观测。该方法将训练复杂度降低至 O(M³p³)，从而在高维、大规模场景下实现高效推断，并且出人意料地在无导数数据的情况下仍通过方向导数编码结构信息，提升了回归性能。

ABSTRACT

Gaussian processes with derivative information are useful in many settings where derivative information is available, including numerous Bayesian optimization and regression tasks that arise in the natural sciences. Incorporating derivative observations, however, comes with a dominating $O(N^3D^3)$ computational cost when training on $N$ points in $D$ input dimensions. This is intractable for even moderately sized problems. While recent work has addressed this intractability in the low-$D$ setting, the high-$N$, high-$D$ setting is still unexplored and of great value, particularly as machine learning problems increasingly become high dimensional. In this paper, we introduce methods to achieve fully scalable Gaussian process regression with derivatives using variational inference. Analogous to the use of inducing values to sparsify the labels of a training set, we introduce the concept of inducing directional derivatives to sparsify the partial derivative information of a training set. This enables us to construct a variational posterior that incorporates derivative information but whose size depends neither on the full dataset size $N$ nor the full dimensionality $D$. We demonstrate the full scalability of our approach on a variety of tasks, ranging from a high dimensional stellarator fusion regression task to training graph convolutional neural networks on Pubmed using Bayesian optimization. Surprisingly, we find that our approach can improve regression performance even in settings where only label data is available.

研究动机与目标

• 解决在高维、大规模场景下，使用导数观测训练高斯过程时 O(N³D³) 的计算成本问题。
• 开发一种变分推断框架，使其在数据集大小 N 和输入维度 D 上均能高效扩展。
• 提出诱导方向导数作为梯度信息的稀疏近似机制，类似于用于函数值的诱导点。
• 在真实世界高维问题（如图神经网络训练和聚变能建模）上展示该方法的有效性。
• 探究即使训练集中不存在导数数据，导数信息是否仍能提升模型性能。

提出的方法

• 该方法引入一种变分后验，通过一组学习得到的诱导方向导数来整合导数信息，从而减少对完整 N 和 D 的依赖。
• 将证据下界（ELBO）表述为标签和部分导数观测的总和，支持使用混合小批量（标签与梯度）的随机梯度下降。
• 关键创新在于使用随机方向上的方向导数作为充分统计量，使模型能够将导数信息压缩为低维表示。
• 每轮训练的复杂度降低至 O(M³p³)，其中 M ≪ N 且 p ≪ D，使其可扩展至大规模的 N 和 D。
• 该方法通过在方向导数上扩展诱导点框架，将标准稀疏 GP 方法推广至导数观测。
• 该方法支持存在或不存在导数数据的两种情形，后者显示出通过结构编码带来的意外性能提升。

实验结果

研究问题

• RQ1 使用诱导方向导数的变分推断是否能在高维、大规模场景下实现可扩展的高斯过程回归？
• RQ2 将方向导数用作诱导变量是否能与包含导数的精确 GP 推断相比保持预测准确性？
• RQ3 在未使用导数数据训练的模型中，是否仍能通过引入导数信息的变分参数提升回归性能？
• RQ4 该方法在真实世界高维数据集（如恒星磁约束装置聚变数据和图神经网络优化）上的实际可扩展性如何？
• RQ5 诱导方向导数的数量（p）和诱导点的数量（M）对模型性能和计算成本有何影响？

主要发现

• 所提方法在 N 和 D 上均实现完全可扩展，将训练复杂度降低至 O(M³p³)，使原本在精确 GP 推断下不可行的大规模问题得以解决。
• 在恒星磁约束装置聚变回归任务中，该方法成功实现了带导数信息的可扩展回归，优于基线方法。
• 在 PubMed 数据集上的图卷积神经网络贝叶斯优化中，该方法实现了端到端的可扩展训练，并具备不确定性量化能力。
• 在无导数数据的 UCI 回归基准测试中，DSVGP1 和 DPPGPR1 的 MSE 和 NLL 均低于标准 SVGP 和 PPGPR，表明导数信息结构编码带来了意外的性能增益。
• 在合成数据和表面重建任务中，该方法优于 DSKI [5]，表现出更优的近似质量和可扩展性。
• 令人惊讶的是，即使没有导数观测，使用诱导方向导数的模型仍能提升回归性能，表明方向编码可能引入了一种新型归纳偏置。