[论文解读] Constant-Time Predictive Distributions for Gaussian Processes

Geoff Pleiss, Jacob R. Gardner+2 more|arXiv (Cornell University)|Mar 16, 2018

Gaussian Processes and Bayesian Inference参考文献 37被引用 16

一句话总结

该论文提出 LOVE（Lanczös 方差估计），一种利用 Lanczos 算法实现高斯过程中预测协方差矩阵的常数时间计算与快速采样的方法。通过低秩分解近似核矩阵，LOVE 实现了相较于现有方法高达 2,000 倍的方差计算加速与高达 18,000 倍的采样加速，同时保持接近精确的准确性，并维持与训练集大小无关的常数时间复杂度。

ABSTRACT

One of the most compelling features of Gaussian process (GP) regression is its ability to provide well-calibrated posterior distributions. Recent advances in inducing point methods have sped up GP marginal likelihood and posterior mean computations, leaving posterior covariance estimation and sampling as the remaining computational bottlenecks. In this paper we address these shortcomings by using the Lanczos algorithm to rapidly approximate the predictive covariance matrix. Our approach, which we refer to as LOVE (LanczOs Variance Estimates), substantially improves time and space complexity. In our experiments, LOVE computes covariances up to 2,000 times faster and draws samples 18,000 times faster than existing methods, all without sacrificing accuracy.

研究动机与目标

• 解决高斯过程中预测协方差估计与采样的计算瓶颈问题，即使在使用可扩展的诱导点方法时，该问题依然昂贵。
• 实现在与训练数据规模无关的预测方差常数时间计算与线性时间采样。
• 在大幅降低计算复杂度的同时，保持不确定性估计的高精度。
• 提供一种可扩展、数值稳定且兼容 GPU 的解决方案，与现有的诱导点框架（如 KISS-GP）兼容。

提出的方法

• 利用 Lanczos 算法对核矩阵进行三对角化，以高效近似矩阵求逆。
• 将预测协方差表示为涉及预计算矩阵 C 的二次型，该矩阵通过 Lanczos 方法分解为低秩因子 R 和 R'。
• 利用 Lanczos 分解的结构，以 O(k) 时间每项计算方差，其中 k 为 Lanczos 迭代次数。
• 采用完整重正交化策略以维持数值稳定性，防止浮点数运算中正交性的丢失。
• 缓存 Lanczos 分解，以支持在多个测试点上重复、快速地计算方差与样本。
• 将方法扩展至在 O(ks(t + m)) 时间内从预测分布中采样，其中 t 为测试点数，s 为样本数。

实验结果

研究问题

• RQ1 是否可以在不牺牲精度的前提下，将高斯过程中的预测协方差计算减少到常数时间？
• RQ2 是否可以实现与训练集规模无关的线性时间、快速且精确的预测分布采样？
• RQ3 在 GP 推断背景下，Lanczos 算法如何实现核矩阵求逆的高效近似？
• RQ4 Lanczos 迭代中的数值不稳定性有何影响，以及在实际中如何缓解？
• RQ5 LOVE 在多大程度上可推广至 KISS-GP 以外的其他诱导点方法？

主要发现

• LOVE 的预测方差计算速度比现有方法快高达 2,000 倍，误差在精确值的 10^-4 以内。
• LOVE 从预测分布中采样速度比精确 GP 采样快高达 18,000 倍，同时保持与真实后验分布的高度一致。
• LOVE 实现了与训练点数量 n 无关的常数时间方差计算（O(k)）与线性时间采样（O(ks(t + m)））。
• 在 Eggholder 基准测试中，LOVE 的采样分布与精确 GP 分布高度吻合，且比精确采样快 700 倍。
• 该方法在实践中具有数值稳定性，完整重正交化能有效纠正 Lanczos 向量中正交性的损失。
• LOVE 与其它诱导点方法兼容，可应用于任何支持快速矩阵-向量乘法的 GP 框架。