[论文解读] Matérn Gaussian processes on Riemannian manifolds

Viacheslav Borovitskiy, Alexander Terenin+2 more|arXiv (Cornell University)|Jun 17, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用 25

一句话总结

本文提出了一种构造性的谱方法，通过黎曼流形上拉普拉斯–贝尔特拉米算子的本征函数和本征值，计算紧致黎曼流形上的马尔琴（Matérn）和平方指数高斯过程核函数。通过将核函数表示为流形谱分解的形式，该方法可利用标准技术（如诱导点方法）实现可扩展的训练，克服了以往基于SPDE的公式在可扩展性方面的局限性。

ABSTRACT

Gaussian processes are an effective model class for learning unknown functions, particularly in settings where accurately representing predictive uncertainty is of key importance. Motivated by applications in the physical sciences, the widely-used Matérn class of Gaussian processes has recently been generalized to model functions whose domains are Riemannian manifolds, by re-expressing said processes as solutions of stochastic partial differential equations. In this work, we propose techniques for computing the kernels of these processes on compact Riemannian manifolds via spectral theory of the Laplace-Beltrami operator in a fully constructive manner, thereby allowing them to be trained via standard scalable techniques such as inducing point methods. We also extend the generalization from the Matérn to the widely-used squared exponential Gaussian process. By allowing Riemannian Matérn Gaussian processes to be trained using well-understood techniques, our work enables their use in mini-batch, online, and non-conjugate settings, and makes them more accessible to machine learning practitioners.

研究动机与目标

• 为在黎曼流形上实现高斯过程的实际训练，解决传统方法因数值复杂性而不可行的问题。
• 利用拉普拉斯–贝尔特拉米算子的谱理论，将马尔琴和平方指数核函数推广至黎曼流形域。
• 提供一个完全构造性、计算上可行的框架，支持小批量、在线及非共轭推理。
• 弥合马尔琴高斯过程的理论SPDE公式与流形上实际机器学习应用之间的差距。
• 将现有高斯过程工具（如稀疏变分推理和傅里叶特征）扩展至黎曼流形域。

提出的方法

• 利用拉普拉斯–贝尔特拉米算子的谱分解，推导出紧致黎曼流形上马尔琴高斯过程的核函数。
• 将核函数表示为本征函数和本征值的级数形式：$ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $。
• 通过极限 $ \nu \to \infty $ 将该框架扩展至平方指数核函数，得到 $ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $。
• 证明了相关微分算子的有界性与可逆性，确保解的存在性与唯一性。
• 将基于SPDE的马尔琴高斯过程公式重新解释为谱形式，实现无需数值求解PDE的直接计算。
• 证明了该方法与可扩展高斯过程方法（如稀疏变分推理和诱导点近似）的兼容性。

实验结果

研究问题

• RQ1 能否利用谱理论在黎曼流形上显式构造马尔琴高斯过程？
• RQ2 如何在紧致黎曼流形上以闭式表达计算马尔琴高斯过程的核函数？
• RQ3 能否将基于SPDE的马尔琴高斯过程公式转化为谱表示，以支持可扩展推理？
• RQ4 该谱方法是否能在流形上将平方指数核函数作为极限情况支持？
• RQ5 能否通过该谱框架将标准可扩展高斯过程技术应用于黎曼流形上的马尔琴高斯过程？

主要发现

• 紧致黎曼流形上马尔琴高斯过程的核函数显式表示为 $ k_{\nu}(x,x') = \frac{\sigma^2}{C_\nu} \sum_{n=0}^{\infty} \left( \frac{2\nu}{\kappa^2} + \lambda_n \right)^{-\nu - \frac{d}{2}} f_n(x)f_n(x') $，其中 $ \lambda_n $ 和 $ f_n $ 分别为拉普拉斯–贝尔特拉米算子的本征值与本征函数。
• 同一流形上平方指数核函数作为 $ \nu \to \infty $ 的极限推导得出，结果为 $ k_{\infty}(x,x') = \frac{\sigma^2}{C_\infty} \sum_{n=0}^{\infty} e^{-\frac{\kappa^2}{2}\lambda_n} f_n(x)f_n(x') $。
• 所提出的核函数公式确保高斯过程定义良好，且相关微分算子有界且可逆，从而保证解的存在性与唯一性。
• 谱表示使得该方法可直接与可扩展高斯过程方法（如稀疏变分推理和诱导点近似）集成。
• 该框架实现了对黎曼流形上马尔琴高斯过程的小批量、在线及非共轭训练，这在以往基于SPDE的方法中是不可行的。
• 通过实例验证了该方法与流形（如环面和球面）上标准高斯过程推理流程的兼容性。