[论文解读] Evaluating the squared-exponential covariance function in Gaussian processes with integral observations

Johannes Hendriks, Carl Jidling+2 more|arXiv (Cornell University)|Dec 18, 2018

Probabilistic and Robust Engineering Design参考文献 13被引用 8

一句话总结

本文提出了一种数值高效的算法，用于计算高斯过程中积分观测下平方指数协方差函数的双重线积分。通过将双重积分简化为涉及误差函数的单重积分，并利用高效的数值积分方法，该方法在计算效率和稳定性方面相较于现有方法表现出更优的精度和鲁棒性。

ABSTRACT

This paper deals with the evaluation of double line integrals of the squared exponential covariance function. We propose a new approach in which the double integral is reduced to a single integral using the error function. This single integral is then computed with efficiently implemented numerical techniques. The performance is compared against existing state of the art methods and the results show superior properties in numerical robustness and accuracy per computation time.

研究动机与目标

• 解决在具有积分观测的高斯过程模型中，评估平方指数协方差函数双重线积分的计算挑战。
• 为该特定问题开发一种数值鲁棒且高效的现有数值积分技术替代方案。
• 提升涉及线积分测量的应用中高斯过程推断的精度与计算性能，例如层析成像重建与系统辨识。
• 提供双重积分到涉及误差函数的单重积分的闭式简化，实现更快且更稳定的数值评估。

提出的方法

• 利用误差函数的性质，将协方差计算中的双重积分转化为单重积分，从而降低计算复杂度。
• 利用误差函数积分的恒等式，将解表示为误差函数差值的形式。
• 关键组成部分包括系数 $ c_1 = \mathbf{w}_i^T\mathbf{V}\mathbf{w}_i $, $ c_2 = 2\mathbf{w}_i^T\mathbf{V}\mathbf{v}_i $, 和 $ c_3 = \mathbf{v}_i^T\mathbf{V}\mathbf{v}_i $ 的定义，这些系数以误差函数形式参数化积分。
• 通过标准数值积分技术对所得单重积分进行求值，确保高精度与高稳定性。
• 当二次型的行列式为正时，该方法将积分表示为二元正态累积分布函数，从而可利用高度优化的数值库。
• 该方法避免了低秩近似，保留了平方指数核的完整表达能力。

实验结果

研究问题

• RQ1 平方指数协方差函数的双重线积分能否被简化为涉及误差函数的单重积分，以提升计算效率？
• RQ2 与现有最先进的数值积分技术相比，该方法在精度和计算速度方面表现如何？
• RQ3 该方法在不同参数配置和问题维度下的数值鲁棒性如何？
• RQ4 该方法能否有效应用于实际问题，如层析成像重建与连续时间系统辨识？

主要发现

• 所提方法将双重积分简化为涉及误差函数的单重积分，显著简化了计算过程。
• 与现有最先进的方法相比，该方法在单位计算时间内的数值鲁棒性和精度表现更优。
• 利用误差函数可实现积分的稳定且高效评估，避免了直接二维积分中常见的数值不稳定性。
• 即使在高维设置下，该方法仍保持高精度，且在精度与表达能力方面优于低秩近似方案。
• 该方法在涉及线积分观测的问题中尤为有效，例如在层析成像重建与系统辨识中的应用。
• 实现中利用了现有的高效数值库来计算二元正态CDF，进一步提升了性能与可靠性。