[论文解读] Kernel Interpolation for Scalable Online Gaussian Processes

Samuel Stanton, Wesley J. Maddox+2 more|arXiv (Cornell University)|Mar 2, 2021

Gaussian Processes and Bayesian Inference参考文献 35被引用 4

一句话总结

本文提出 WISKI（Woodbury Inversion with SKI），一种利用结构化核插值和 Woodbury 恒等式实现高斯过程常数时间 $Ó(1)$ 在线更新的方法，实现每步更新计算成本为 $Ó(1)$ 的精确推断。该方法在速度上达到与变分方法相当的最先进水平，同时保持了校准的不确定性估计和精确后验推断，在在线回归、贝叶斯优化和疟疾预测中的主动学习任务中均得到验证。

ABSTRACT

Gaussian processes (GPs) provide a gold standard for performance in online settings, such as sample-efficient control and black box optimization, where we need to update a posterior distribution as we acquire data in a sequential fashion. However, updating a GP posterior to accommodate even a single new observation after having observed $n$ points incurs at least $O(n)$ computations in the exact setting. We show how to use structured kernel interpolation to efficiently recycle computations for constant-time $O(1)$ online updates with respect to the number of points $n$, while retaining exact inference. We demonstrate the promise of our approach in a range of online regression and classification settings, Bayesian optimization, and active sampling to reduce error in malaria incidence forecasting. Code is available at https://github.com/wjmaddox/online_gp.

研究动机与目标

• 为解决精确在线高斯过程更新的高计算成本问题，其复杂度随 $n$ 个数据点呈 $Ó(n^3)$ 增长。
• 在在线设置中实现精确推断，避免稀疏变分方法中常见的近似误差。
• 实现相对于 $n$ 的 $Ó(1)$ 更新复杂度，同时保持快速的推理时间与校准的不确定性估计。
• 支持贝叶斯优化和主动采样等应用中的实时决策，其中不确定性校准至关重要。
• 为现有依赖低秩近似或变分推断的在线 GP 方法提供一种可扩展、精确且高效的替代方案。

提出的方法

• 利用结构化核插值（SKI）通过一组固定的诱导点近似核矩阵，实现高效的核函数计算。
• 应用 Woodbury 恒等式，高效更新预测分布和边际似然，避免从头重新计算。
• 缓存中间计算结果（如诱导点上核矩阵的逆），以在在线更新中重复利用。
• 在所有更新中复用相同的诱导点结构，确保每新增一点的计算成本相对于 $n$ 保持常数 $Ó(1)$。
• 通过避免变分近似，保持精确推断，从而保留校准的不确定性估计。
• 在贝叶斯优化中使用批处理上置信度边界（UCB）采集函数，并通过 WISKI 实现在线更新，以维持高性能。

实验结果

研究问题

• RQ1 我们能否在保持精确推断与校准不确定性的同时，实现高斯过程的 $Ó(1)$ 在线更新？
• RQ2 在在线回归任务中，WISKI 与变分方法和精确 GP 方法相比，在速度、准确性和不确定性校准方面表现如何？
• RQ3 WISKI 是否能有效支持主动学习与贝叶斯优化，实现快速、精确的更新与全局方差减少？
• RQ4 WISKI 是否能避免如 O-SVGP 等流式变分 GP 方法中常见的过拟合与泛化性能差的问题？
• RQ5 WISKI 是否能在计算开销极小的前提下，扩展至大规模在线数据集，同时保持预测性能？

主要发现

• WISKI 实现了相对于 $n$ 的 $Ó(1)$ 更新复杂度，速度与变分方法相当，同时保持了精确推断。
• 在汇率数据的在线回归任务中，WISKI 在学习高频趋势方面优于 O-SVGP 和 O-SGPR，且避免了对早期数据的过拟合。
• 在 UCI Power Plant 数据集上，WISKI 的性能与精确 GP 相当，且优于 O-SVGP，后者高估了噪声并收敛至次优解。
• 在 Ackley 和 Levy 函数上的贝叶斯优化中，WISKI 显著快于精确 GP 和 O-SVGP，同时实现了相当或更优的优化性能。
• 在疟疾发病率预测的主动学习中，WISKI 在 500 次迭代内持续降低 RMSE，而 O-SVGP 在约 250 次迭代后因查询点局部聚集而停滞。
• 在主动学习中，WISKI 选择更具多样性、全局代表性的查询点，比 O-SVGP 更有效地减少全局方差，后者倾向于将点聚集在密集区域。