[论文解读] Infinite-Horizon Gaussian Processes

Arno Solin, James Hensman+1 more|arXiv (Cornell University)|Nov 15, 2018

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文提出无限时域高斯过程（IHGP），一种用于状态空间高斯过程的新近似方法，通过利用长时间序列中的稳态后验分布，将计算复杂度从 O(m³n) 降低至 O(m²n)。该方法实现了高效的实时推理与在线超参数学习，在高达 200 万点的流数据上进行了验证，并在智能手机上以 100 Hz 的频率实现实时处理。

ABSTRACT

Gaussian processes provide a flexible framework for forecasting, removing noise, and interpreting long temporal datasets. State space modelling (Kalman filtering) enables these non-parametric models to be deployed on long datasets by reducing the complexity to linear in the number of data points. The complexity is still cubic in the state dimension $m$ which is an impediment to practical application. In certain special cases (Gaussian likelihood, regular spacing) the GP posterior will reach a steady posterior state when the data are very long. We leverage this and formulate an inference scheme for GPs with general likelihoods, where inference is based on single-sweep EP (assumed density filtering). The infinite-horizon model tackles the cubic cost in the state dimensionality and reduces the cost in the state dimension $m$ to $\mathcal{O}(m^2)$ per data point. The model is extended to online-learning of hyperparameters. We show examples for large finite-length modelling problems, and present how the method runs in real-time on a smartphone on a continuous data stream updated at 100~Hz.

研究动机与目标

• 解决状态维度 m 导致的立方级计算成本问题，该问题限制了状态空间 GP 模型的实际应用。
• 为具有非高斯似然的长序列或流式时间序列，实现高效推理与在线超参数学习。
• 开发一种可扩展的、适用于智能手机等嵌入式设备的实时 GP 框架。
• 在大幅降低计算成本的同时，保持大规模与非平稳时间建模中的高精度。

提出的方法

• 提出无限时域 GP（IHGP）作为近似方法，假设在长时间序列中后验分布达到稳态。
• 采用单次扫描期望传播（EP）结合假设密度平滑（ADF）以处理一般似然。
• 利用 GP 后验的稳态边际方差，避免重复计算完整状态转移。
• 通过丢弃马尔可夫路径并从稳态分布重新初始化，将计算复杂度从 O(m³n) 降低至 O(m²n)。
• 通过在边际似然上使用增量梯度更新，实现超参数的在线学习。
• 使用 C++/Objective-C 实现该方法，以实现在移动设备（包括智能手机）上的实时部署。

实验结果

研究问题

• RQ1 能否利用 GP 的稳态后验来降低长时间序列建模中的计算成本？
• RQ2 如何使状态空间 GP 推理在非高斯似然和流式数据下更加高效？
• RQ3 IHGP 是否能在将复杂度从 O(m³n) 降低至 O(m²n) 的同时保持精度？
• RQ4 IHGP 是否适用于资源受限设备（如智能手机）上的实时自适应建模？
• RQ5 能否有效将在线超参数学习集成到 IHGP 框架中？

主要发现

• IHGP 实现了 O(m²n) 的复杂度，显著降低了标准状态空间 GP 推理的 O(m³n) 成本。
• 该方法在基准数据集上的结果几乎与完整 GP 和状态空间 ADF 相同，仅在时间早期存在轻微边缘效应。
• 在智能手机上实现了 100 Hz 的实时推理，每 0.1 秒更新一次超参数。
• 在 200 万点的数据集上，IHGP 使用 BFGS 优化在 624 秒内完成完整推理。
• 在滚动窗口在线设置中，IHGP 成功捕捉了非平稳行为，例如在住户空置时对周期性分量的衰减。
• 该方法能有效建模复杂、多尺度的时间结构，包括长期趋势与高频周期性，如航空事故与电能消耗数据集所示。