[论文解读] Linear-Cost Covariance Functions for Gaussian Random Fields

Jie Chen, Michael L. Stein|arXiv (Cornell University)|Nov 16, 2017

Soil Geostatistics and Mapping参考文献 76被引用 6

一句话总结

本文提出了一类新型协方差函数，用于高斯随机场，可诱导出层级矩阵结构，从而实现采样、克里金插值和似然评估的线性时间复杂度计算。通过利用嵌套基函数和层级矩阵算法，该方法实现了 O(n) 的采样和似然评估复杂度，以及 O(log n) 的摊销克里金插值复杂度，可在包含超过两百万个观测值的数据集上高效扩展，同时保持预测精度。

ABSTRACT

Gaussian random fields (GRF) are a fundamental stochastic model for spatiotemporal data analysis. An essential ingredient of GRF is the covariance function that characterizes the joint Gaussian distribution of the field. Commonly used covariance functions give rise to fully dense and unstructured covariance matrices, for which required calculations are notoriously expensive to carry out for large data. In this work, we propose a construction of covariance functions that result in matrices with a hierarchical structure. Empowered by matrix algorithms that scale linearly with the matrix dimension, the hierarchical structure is proved to be efficient for a variety of random field computations, including sampling, kriging, and likelihood evaluation. Specifically, with $n$ scattered sites, sampling and likelihood evaluation has an $O(n)$ cost and kriging has an $O(\log n)$ cost after preprocessing, particularly favorable for the kriging of an extremely large number of sites (e.g., predicting on more sites than observed). We demonstrate comprehensive numerical experiments to show the use of the constructed covariance functions and their appealing computation time. Numerical examples on a laptop include simulated data of size up to one million, as well as a climate data product with over two million observations.

研究动机与目标

• 为解决大规模高斯随机场模型因密集协方差矩阵导致的 O(n³) 计算复杂度和 O(n²) 存储需求而带来的计算不可行性问题。
• 开发一种协方差函数构造方法，既保持正定性，又能支持高效的层级矩阵计算。
• 在大规模数据集中，实现采样、克里金插值和似然评估等关键操作的线性或近似线性计算复杂度。
• 在包含超过两百万个观测值的真实气候数据上展示方法的可扩展性，其预测性能与基线方法相当，但计算时间显著减少。

提出的方法

• 提出一类新的协方差函数 $k_{\rm{h}}$，通过嵌套基函数构造，使生成的协方差矩阵呈现层级矩阵结构。
• 采用层级矩阵算法，利用树状结构的稀疏模式，将采样和似然评估的算术运算与存储复杂度降低至 O(n)。
• 使用多分辨率基分解，将协方差函数嵌入层级框架中，实现高效的矩阵分解与求解操作。
• 通过预计算层级表示，将层级结构应用于克里金插值，实现在新位置预测时每个站点的计算成本为 O(log n)，处理过程仅需一次预处理。
• 利用层级矩阵框架高效计算对数似然值，支持在大规模数据集上进行最大似然估计和 MCMC 推断。
• 使用合成数据和一个包含超过两百万个观测值的真实气候数据集对方法进行验证，与标准协方差函数进行性能对比。

实验结果

研究问题

• RQ1 是否可以设计一种协方差函数，使其诱导的协方差矩阵具备层级结构，从而支持线性时间复杂度的计算？
• RQ2 所提出的层级协方差函数是否在大幅降低计算成本的同时，仍能保持与标准协方差函数相当的预测精度？
• RQ3 在预测站点数量超过观测站点数量的情况下，是否能通过该方法实现每个预测站点 O(log n) 的摊销计算成本？
• RQ4 是否能利用层级结构在大规模数据上高效执行最大似然估计和对数似然评估？

主要发现

• 所提出的协方差函数 $k_{\rm{h}}$ 生成的层级矩阵结构，使采样和似然评估的复杂度为 O(n)，每个预测站点的克里金插值摊销复杂度为 O(log n)。
• 在包含一百万个点的合成数据集上，该方法在标准笔记本电脑上完成全部计算的时间不足 10 分钟，表现出良好的线性扩展性。
• 在包含超过两百万个观测值的真实气候数据集上，该方法的预测精度与基线协方差函数相当，使用 $k_{\rm{h}}$ 的均方根预测误差为 0.01556。
• 使用 $k_{\rm{h}}$ 计算的对数似然值与使用 $k$ 的基线结果相差不足 1000，表明尽管存在近似，其统计保真度依然很强。
• 使用 $k_{\rm{h}}$ 进行超参数优化得到的估计值与 $k$ 的结果接近，且对数似然曲面形状在视觉上完全一致，支持其在推断中的应用。
• 该方法可实现 O(n) 预测站点的可扩展克里金插值，总计算成本为 O(n log n)，突破了传统稠密线性代数方法的 O(n³) 计算瓶颈。