[论文解读] Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)

Andrew Gordon Wilson, Hannes Nickisch|arXiv (Cornell University)|Mar 3, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用 214

一句话总结

该论文提出了结构化核插值（Structured Kernel Interpolation, SKI）框架，这是一种统一的方法，通过核插值近似核矩阵，实现高斯过程推理的可扩展性。利用局部三次插值并结合Kronecker/Toeplitz结构，KISS-GP实现了O(n)的时间和存储复杂度，从而在任意分布的输入下实现高精度、可扩展的高斯过程推理，运行时间比FITC等方法快几个数量级。

ABSTRACT

We introduce a new structured kernel interpolation (SKI) framework, which generalises and unifies inducing point methods for scalable Gaussian processes (GPs). SKI methods produce kernel approximations for fast computations through kernel interpolation. The SKI framework clarifies how the quality of an inducing point approach depends on the number of inducing (aka interpolation) points, interpolation strategy, and GP covariance kernel. SKI also provides a mechanism to create new scalable kernel methods, through choosing different kernel interpolation strategies. Using SKI, with local cubic kernel interpolation, we introduce KISS-GP, which is 1) more scalable than inducing point alternatives, 2) naturally enables Kronecker and Toeplitz algebra for substantial additional gains in scalability, without requiring any grid data, and 3) can be used for fast and expressive kernel learning. KISS-GP costs O(n) time and storage for GP inference. We evaluate KISS-GP for kernel matrix approximation, kernel learning, and natural sound modelling.

研究动机与目标

• 为解决标准高斯过程计算瓶颈问题，其时间复杂度为O(n³)，限制了其在小规模数据集上的应用。
• 通过将诱导点方法统一为核插值问题，实现对现有诱导点方法的统一与泛化。
• 克服Kronecker和Toeplitz方法对网格输入的限制，使其可应用于任意分布的输入。
• 通过高效支持大量诱导点，实现表达性强的核学习和高精度预测。
• 开发一个灵活的框架——SKI，通过可定制的插值策略，支持设计新型可扩展高斯过程方法。

提出的方法

• SKI框架将诱导点方法解释为全局高斯过程核插值，以构建近似核，实现可扩展推理。
• 引入局部三次插值和反距离加权插值策略，用于近似训练点与诱导点之间的交叉协方差矩阵。
• KISS-GP利用Kronecker和Toeplitz代数，分别实现O(n + m log m)和O(n + Pm^{1+1/P})的计算复杂度，适用于P维输入。
• 通过利用结构化矩阵代数，即使输入不在规则网格上，也能实现m ≫ n个诱导点的高效推理。
• 该框架将核近似分解为结构化分量，支持快速矩阵运算并降低存储需求。
• 该方法作为GPML工具箱的扩展实现，支持大规模数据集的端到端训练与预测。

实验结果

研究问题

• RQ1 如何通过基于核插值的统一框架，实现对诱导点方法的统一与泛化？
• RQ2 能否设计出核插值策略，使得即使在任意分布的输入下，也能有效利用Kronecker和Toeplitz结构？
• RQ3 在可扩展高斯过程方法中，增加诱导点数量在多大程度上能提升预测精度和核学习的表达能力？
• RQ4 插值策略的选择（如局部三次插值与全局插值）如何影响精度与计算效率之间的权衡？
• RQ5 SKI框架能否用于设计新型高效高斯过程模型，使其性能超越现有最先进方法？

主要发现

• KISS-GP实现了O(n)的时间和存储复杂度，支持大规模数据集上的可扩展推理。
• 在包含59,306个训练点的自然声音建模任务中，KISS-GP的标准化平均绝对误差（SMAE）不足FITC的一半，且运行时间不足其1%。
• 当m ∈ [2500, 5000]时，KISS-GP的运行时间几乎保持不变，而FITC的运行时间随m显著增加。
• 在m ∈ [250, 1250]范围内，KISS-GP在精度（SMAE ∈ [1.00, 1.05] vs. [1.12, 1.23]）和速度（<100秒 vs. 最多8400秒）上均优于SSGPR。
• KISS-GP中采用的局部三次插值策略，相比FITC（因诱导点使用有限而过度平滑）能更好地恢复函数曲率。
• SKI框架可高效支持m ≫ n个诱导点，从而解锁表达性强的核学习与更优的预测性能。