[论文解读] Blitzkriging: Kronecker-structured Stochastic Gaussian Processes

Thomas E. Nickson, Tom Gunter+3 more|arXiv (Cornell University)|Oct 27, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用 13

一句话总结

Blitzkriging 引入了一种具有 Kronecker 结构的随机高斯过程，实现了与诱导点数量的线性缩放，从而在无需网格结构数据的情况下实现了大规模数据集上的高效推理。它利用谱混合核和随机优化，学习丰富的协方差结构，同时在预测准确性和计算效率方面优于标准变分推理和随机森林。

ABSTRACT

We present Blitzkriging, a new approach to fast inference for Gaussian processes, applicable to regression, optimisation and classification. State-of-the-art (stochastic) inference for Gaussian processes on very large datasets scales cubically in the number of 'inducing inputs', variables introduced to factorise the model. Blitzkriging shares state-of-the-art scaling with data, but reduces the scaling in the number of inducing points to approximately linear. Further, in contrast to other methods, Blitzkriging: does not force the data to conform to any particular structure (including grid-like); reduces reliance on error-prone optimisation of inducing point locations; and is able to learn rich (covariance) structure from the data. We demonstrate the benefits of our approach on real data in regression, time-series prediction and signal-interpolation experiments.

研究动机与目标

• 为解决标准高斯过程推理在诱导点数量上呈立方级缩放的问题，该问题限制了大规模数据集上的可扩展性。
• 在无需数据符合网格或规则结构的前提下，实现高斯过程的高效、可扩展推理。
• 减少对诱导点位置敏感优化的依赖，同时保持学习复杂、数据驱动协方差结构的能力。
• 结合 Kronecker 结构在计算效率方面的优势与谱混合核在灵活、自适应建模方面的表达能力。
• 在回归、时间序列预测和信号插值任务中实现最先进性能，且超参数调优极少。

提出的方法

• 该方法使用协方差矩阵的 Kronecker 结构近似，通过利用输入维度间可分核结构，实现在诱导点数量上线性时间的推理。
• 采用随机梯度下降进行训练，实现在大规模数据集上的高效优化，无需完整批次计算。
• 使用谱混合（SM）核作为协方差函数，通过高斯函数的和进行参数化，以建模复杂且长程的依赖关系。
• 诱导点被放置在规则网格上，但其位置不被优化；相反，该方法学习每个诱导点的均值，从而降低对初始化的敏感性。
• 该方法利用 Woodbury 矩阵恒等式，通过将大协方差矩阵的求逆问题简化为在诱导点上的小规模、结构化问题，实现高效求逆。
• 支持在完整网格上的精确推理，以及在接近完整网格上使用伪观测的近似推理，同时保持高精度。

实验结果

研究问题

• RQ1 是否可以在保持大规模非网格结构数据集上高预测准确性的同时，使高斯过程推理在诱导点数量上实现线性缩放？
• RQ2 Kronecker 结构方法在不强制将数据放入规则网格的情况下，能在多大程度上学习丰富、数据驱动的协方差结构？
• RQ3 与标准变分推理（如 SVGP）和随机森林等集成方法相比，Blitzkriging 在可扩展性和预测性能方面表现如何？
• RQ4 随机优化是否能够替代 GP 模型中对诱导点位置精细调优的需求？
• RQ5 在 Kronecker 结构框架中使用灵活的谱混合核，对模式发现和泛化能力有何影响？

主要发现

• 在风速自回归任务中，Blitzkriging 的测试 RMSE 为 0.645，其预测对数似然优于 SVGP（0.389）和随机森林（0.248），同时保持了具有竞争力的 RMSE。
• 在二维房价预测任务中，使用 50×70 个诱导点的 Blitzkriging 在预测对数似然上优于 SVGP，且 RMSE 与随机森林相当，尽管后者具有非平稳灵活性。
• 与 SVGP 相比，Blitzkriging 在超参数初始化方面表现出更强的鲁棒性，仅依赖 L-BFGS 和 Adadelta 等现成优化器，无需专门调优。
• Blitzkriging 通过谱混合核学习到复杂的、轴对齐的周期性模式，显示出在真实世界数据上的强大模式发现能力。
• 该方法在诱导点数量上呈线性缩放，可在包含最多 172,563 个样本的数据集上实现高效训练，同时保持高精度。
• 在房价数据上，Blitzkriging 的预测对数似然优于随机森林，表明其在区域价格变化的泛化能力更强，尽管随机森林具有非平稳性。