[论文解读] Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes

Cristian Guarnizo, Mauricio A. Álvarez|arXiv (Cornell University)|May 18, 2018

Gaussian Processes and Bayesian Inference参考文献 18被引用 11

一句话总结

本文提出了一种针对潜在力模型（Latent Force Models, LFMs）及卷积多输出高斯过程的快速核近似方法，利用随机傅里叶特征（Random Fourier Features, RFFs）替代计算成本高昂的误差函数积分，采用蒙特卡洛近似。该方法将计算复杂度从 𝒪(D³N³) 降低至 𝒪(DNQ²S²)，在保持接近精确方法性能的同时实现更快的推理，尤其在样本量 S 增大时表现更优。

ABSTRACT

A latent force model is a Gaussian process with a covariance function inspired by a differential operator. Such covariance function is obtained by performing convolution integrals between Green's functions associated to the differential operators, and covariance functions associated to latent functions. In the classical formulation of latent force models, the covariance functions are obtained analytically by solving a double integral, leading to expressions that involve numerical solutions of different types of error functions. In consequence, the covariance matrix calculation is considerably expensive, because it requires the evaluation of one or more of these error functions. In this paper, we use random Fourier features to approximate the solution of these double integrals obtaining simpler analytical expressions for such covariance functions. We show experimental results using ordinary differential operators and provide an extension to build general kernel functions for convolved multiple output Gaussian processes.

研究动机与目标

• 解决由于误差函数数值计算导致潜在力模型中精确协方差计算成本过高的问题。
• 为具有物理动力学特性的卷积多输出高斯过程开发一种可扩展的近似方法。
• 降低多输出高斯过程模型中核矩阵求逆的计算复杂度。
• 通过用基于 RFF 的蒙特卡洛近似替代解析双重积分，实现潜在力模型中的高效推理。
• 通过将潜在函数核与卷积结构解耦，支持灵活的核设计。

提出的方法

• 使用随机傅里叶特征（RFFs）近似潜在函数先验中的指数二次（Exponentiated Quadratic, EQ）核。
• 应用博赫纳定理（Bochner’s theorem）将 EQ 核表示为傅里叶积分，实现谱分解。
• 通过拉普拉斯/傅里叶变换将双重卷积积分分解为两个独立积分，可解析求解。
• 利用 S 个随机频率样本对剩余积分进行蒙特卡洛近似，将核计算转化为基函数之和。
• 通过将格林函数应用于 RFF 变换后的输入，构建卷积多输出高斯过程的算子值核。
• 通过灵活的核构造机制，将 RFF 框架扩展至一般多输出高斯过程模型，包括非动力系统。

实验结果

研究问题

• RQ1 能否利用随机傅里叶特征近似潜在力模型协方差函数中计算成本高昂的双重积分？
• RQ2 基于 RFF 的方法近似质量如何随随机特征数量 S 的增加而变化？
• RQ3 所提出的方法能否在保持预测性能的同时降低多输出高斯过程推理的计算复杂度？
• RQ4 基于 RFF 的方法是否适用于标准 LFM 结构之外的一般卷积多输出高斯过程？
• RQ5 该方法能否通过将潜在函数核与动力系统结构解耦，实现灵活的核设计？

主要发现

• 基于 RFF 的近似方法性能接近精确的卷积多输出高斯过程（CMOC），在 S=1000 时 RMSE 为 0.22，NLPD 为 3.36，与 CMOC 的 0.19 和 3.21 接近。
• 随着 S 增大，每轮迭代的计算时间显著下降，在 S=1000 时为 85.00 秒，远低于 CMOC 的 353.00 秒。
• 性能随 S 单调提升，表明随着样本量增加，方法收敛于精确解。
• 该方法将计算复杂度从 𝒪(D³N³) 降低至 𝒪(DNQ²S²)，支持大规模多输出高斯过程场景下的可扩展推理。
• 通过重新加权 RFF 分布，该框架支持灵活的核设计，允许对潜在过程使用任意核函数。
• 该方法支持复杂模型（如序列和分层 LFM）中的高效推理，并支持高级核组合策略。