[论文解读] General linear-time inference for Gaussian Processes on one dimension.

Jackson Loper, David M. Blei+2 more|arXiv (Cornell University)|Mar 11, 2020

Gaussian Processes and Bayesian Inference参考文献 50被引用 7

一句话总结

本文提出了一个用于一维数据的平稳协方差核函数族——潜在指数生成（LEG）核族，该方法可在高斯过程（GP）推理中实现精确的线性时间复杂度。通过利用稳定的状态空间表示，该方法实现了可扩展的GP推理，且精度可任意控制，支持包含数十亿个数据点的大型数据集，为时间序列和空间数据的计算效率带来了突破性进展。

ABSTRACT

Gaussian Processes (GPs) provide a powerful probabilistic framework for interpolation, forecasting, and smoothing, but have been hampered by computational scaling issues. Here we prove that for data sampled on one dimension (e.g., a time series sampled at arbitrarily-spaced intervals), approximate GP inference at any desired level of accuracy requires computational effort that scales linearly with the number of observations; this new theorem enables inference on much larger datasets than was previously feasible. To achieve this improved scaling we propose a new family of stationary covariance kernels: the Latent Exponentially Generated (LEG) family, which admits a convenient stable state-space representation that allows linear-time inference. We prove that any continuous integrable stationary kernel can be approximated arbitrarily well by some member of the LEG family. The proof draws connections to Spectral Mixture Kernels, providing new insight about the flexibility of this popular family of kernels. We propose parallelized algorithms for performing inference and learning in the LEG model, test the algorithm on real and synthetic data, and demonstrate scaling to datasets with billions of samples.

研究动机与目标

• 解决大规模一维数据集上高斯过程推理的计算瓶颈问题。
• 开发一种核函数族，实现精确的线性时间推理，同时保持高近似精度。
• 证明任意连续可积的平稳核函数均可被LEG族中的成员任意精确地近似。
• 为GP模型中的高效推理与学习提供稳定的状态空间表示。
• 将GP推理扩展至包含数十亿个观测值的数据集，突破以往二次时间复杂度的限制。

提出的方法

• 本文提出了一类专为一维数据设计的潜在指数生成（LEG）平稳协方差核族。
• LEG核函数具有稳定且低维的状态空间表示，可通过卡尔曼滤波与平滑实现高效推理。
• 该方法证明了任意连续可积的平稳核函数均可被LEG族中的成员任意精确地近似。
• 理论分析揭示了LEG核族与谱混合核（Spectral Mixture Kernels）之间的联系，为后者提供了关于其灵活性与近似能力的全新见解。
• 提出了用于LEG模型中推理与超参数学习的并行化算法。
• 在真实与合成数据集上对方法进行了验证，结果表明其在高达数十亿个数据点的规模下仍保持线性时间复杂度。

实验结果

研究问题

• RQ1 是否可以在保持任意精度的前提下，对一维数据实现高斯过程推理的线性时间计算？
• RQ2 哪类核函数支持稳定的状态空间表示，从而实现线性时间推理？
• RQ3 LEG核族对任意连续可积的平稳核函数的近似能力如何？
• RQ4 LEG族与谱混合核之间存在何种理论关系？
• RQ5 所提出的方法在实际中能否扩展至包含数十亿个观测值的数据集？

主要发现

• LEG核族实现了高斯过程在一维数据上的精确线性时间推理，时间复杂度由O(n³)降低至O(n)。
• 通过合理选择LEG核函数，可对任意连续可积的平稳核函数实现任意精度的近似。
• 理论分析证实LEG族在近似平稳核方面具有通用性，进一步揭示了谱混合核的灵活性与近似能力。
• 实验评估表明，该方法在包含数十亿个样本的数据集上成功实现了推理，验证了其实际可扩展性。
• 稳定的状态空间表示使得基于卡尔曼滤波与平滑的高效且数值鲁棒的推理成为可能。
• 用于学习与推理的并行化算法使得该方法可部署于大规模时间序列与空间数据集。