[论文解读] Scalable Exact Inference in Multi-Output Gaussian Processes

Wessel P. Bruinsma, Eric Perim+4 more|arXiv (Cornell University)|Nov 14, 2019

Gaussian Processes and Bayesian Inference参考文献 60被引用 15

一句话总结

本文提出正交瞬时线性混合模型（OILMM），一种适用于多输出高斯过程的可扩展精确推理方法，其计算复杂度在潜在维度 $ m $ 上呈线性增长，将计算复杂度从 $ O(n^3m^3) $ 降低至 $ O(n^3m + nmp + m^2p) $。该方法利用充分统计量将高维多输出问题解耦为独立的单输出问题，实现在无需近似的情况下实现大规模精确推理，并可与现有高斯过程近似方法以即插即用方式兼容。

ABSTRACT

Multi-output Gaussian processes (MOGPs) leverage the flexibility and interpretability of GPs while capturing structure across outputs, which is desirable, for example, in spatio-temporal modelling. The key problem with MOGPs is their computational scaling $O(n^3 p^3)$, which is cubic in the number of both inputs $n$ (e.g., time points or locations) and outputs $p$. For this reason, a popular class of MOGPs assumes that the data live around a low-dimensional linear subspace, reducing the complexity to $O(n^3 m^3)$. However, this cost is still cubic in the dimensionality of the subspace $m$, which is still prohibitively expensive for many applications. We propose the use of a sufficient statistic of the data to accelerate inference and learning in MOGPs with orthogonal bases. The method achieves linear scaling in $m$ in practice, allowing these models to scale to large $m$ without sacrificing significant expressivity or requiring approximation. This advance opens up a wide range of real-world tasks and can be combined with existing GP approximations in a plug-and-play way. We demonstrate the efficacy of the method on various synthetic and real-world data sets.

研究动机与目标

• 为解决多输出高斯过程精确推理中计算成本过高的问题，其复杂度在输入规模 $ n $ 和输出维度 $ p $ 上均呈立方增长。
• 克服现有低秩 MOGP 模型（如瞬时线性混合模型 ILMM）中 $ O(n^3m^3) $ 的复杂度，该复杂度在中等 $ m $ 下仍不可行。
• 开发一种在保持精确推理与高表达能力的同时，实现 $ m $（潜在子空间维度）线性扩展的方法。
• 使 MOGP 能够在实际中应用于大规模真实世界问题，如时空电价预测与气候模型校准。

提出的方法

• 提出正交瞬时线性混合模型（OILMM），一类利用正交基解耦多输出推理为独立单输出问题的 MOGP。
• 引入数据的充分统计量，通过降低协方差矩阵求逆的计算负担，实现精确推理。
• 推导出依赖于 $ m $ 线性关系的边际似然闭式表达，避免在 $ m $ 上出现立方复杂度。
• 通过将多输出协方差分解为秩一成分之和，实现通过独立单输出 GP 推理的高效计算。
• 支持与现有可扩展 GP 近似方法（如变分诱导点、状态空间方法）以即插即用方式集成。
• 采用似然和预测分布的重参数化方法，在保持精确推理的同时实现高效优化与采样。

实验结果

研究问题

• RQ1 能否在不牺牲表达能力的前提下，使多输出高斯过程的精确推理在大潜在维度 $ m $ 下实现可扩展？
• RQ2 能否将 MOGP 推理的计算复杂度从 $ O(n^3m^3) $ 降低至在 $ m $ 上线性，同时保持精确性？
• RQ3 能否利用数据的充分统计量将高维多输出问题解耦为独立的单输出问题？
• RQ4 与现有可扩展方法（如克罗内克技巧或变分近似）相比，所提方法在性能与速度上表现如何？
• RQ5 该方法能否有效与现有 GP 近似技术以即插即用方式结合？

主要发现

• OILMM 实现了 $ O(n^3m + nmp + m^2p) $ 的时间复杂度与 $ O(n^2m + np + mp) $ 的内存复杂度，主导项在 $ m $ 上呈线性，支持在大 $ m $ 下扩展。
• 在包含 $ n = 1000 $ 个时间点与 $ p = 2313 $ 个位置的真实电价数据集上，该方法在 $ m = 40 $ 时实现了精确推理，避免了对 $ 40{,}000 \times 40{,}000 $ 矩阵的求逆。
• 在解释 $ 99\% $ 方差时，该方法避免了对 $ 120{,}000 \times 120{,}000 $ 矩阵的求逆，而标准 ILMM 无法处理该规模。
• 在合成数据与真实世界数据的实验中，尽管仅使用小规模轻量级运算，OILMM 的性能与克罗内克技巧相当。
• 当 $ n \gg p $ 时，该方法在运行时间上优于标准 ILMM，而在 $ n \approx p $ 时仍保持竞争力。
• 在大规模气候模型校准任务中，OILMM 成功学习了空间相关性，并按相似性对模型进行分组，揭示了模拟器之间有意义的结构性关系。