[论文解读] Conjugate Nearest Neighbor Gaussian Process Models for Efficient Statistical Interpolation of Large Spatial Data

Shinichiro Shirota, Andrew O. Finley+2 more|arXiv (Cornell University)|Jul 23, 2019

Soil Geostatistics and Mapping参考文献 29被引用 4

一句话总结

该论文提出了一种共轭贝叶斯最近邻高斯过程模型，结合低秩高斯预测过程与诱导稀疏性的最近邻高斯过程，实现了对大规模空间数据集的精确、计算高效的时空插值。该方法在不到一分钟内完成了对1700万次LiDAR观测的完整贝叶斯克里金插值推断，实现了对内陆阿拉斯加碳监测等大规模遥感应用的高精度不确定性量化。

ABSTRACT

A key challenge in spatial statistics is the analysis for massive spatially-referenced data sets. Such analyses often proceed from Gaussian process specifications that can produce rich and robust inference, but involve dense covariance matrices that lack computationally exploitable structures. The matrix computations required for fitting such models involve floating point operations in cubic order of the number of spatial locations and dynamic memory storage in quadratic order. Recent developments in spatial statistics offer a variety of massively scalable approaches. Bayesian inference and hierarchical models, in particular, have gained popularity due to their richness and flexibility in accommodating spatial processes. Our current contribution is to provide computationally efficient exact algorithms for spatial interpolation of massive data sets using scalable spatial processes. We combine low-rank Gaussian processes with efficient sparse approximations. Following recent work by [1], we model the low-rank process using a Gaussian predictive process (GPP) and the residual process as a sparsity-inducing nearest-neighbor Gaussian process (NNGP). A key contribution here is to implement these models using exact conjugate Bayesian modeling to avoid expensive iterative algorithms. Through the simulation studies, we evaluate performance of the proposed approach and the robustness of our models, especially for long range prediction. We implement our approaches for remotely sensed light detection and ranging (LiDAR) data collected over the US Forest Service Tanana Inventory Unit (TIU) in a remote portion of Interior Alaska.

研究动机与目标

• 解决在包含数千万个位置的大规模空间数据集上，完整似然高斯过程模型的计算不可行性问题。
• 开发一种可扩展的精确推断框架，避免昂贵的MCMC采样，同时保持完整的不确定性量化能力。
• 为大规模遥感应用（如森林生物量与碳监测）提供高精度的空间预测与不确定性估计。
• 展示在共轭贝叶斯框架下，将低秩GPP与稀疏NNGP组件相结合，对全尺度空间建模的有效性。
• 为美国林务局坦纳纳普查区等大范围区域的空间过程推断，提供一种实用且计算高效的MCMC替代方案。

提出的方法

• 该模型将空间过程分解为用于长程依赖的低秩高斯预测过程（GPP）和用于细尺度残差的诱导稀疏性的最近邻高斯过程（NNGP）。
• 联合模型被表述为稀疏加低秩高斯过程（SLGP），通过避免迭代MCMC算法，实现精确的共轭贝叶斯推断。
• 参数估计将关键协方差参数（如空间衰减φ和噪声与信号比α）固定在合理值，从而在不牺牲预测准确性的情况下减轻计算负担。
• 该方法利用并行计算与高效内存管理，可扩展至包含最多1700万个空间位置的数据集。
• 通过多元正态分布理论，精确推导后验预测分布，实现在任意位置的快速预测与不确定性量化。
• 模型拟合采用K折交叉验证来调整超参数，并在大空间区域内验证性能。

实验结果

研究问题

• RQ1 共轭贝叶斯推断能否有效应用于大规模空间模型，以避免MCMC同时保持预测准确性？
• RQ2 低秩GPP与稀疏NNGP组件的结合在大规模空间数据集上如何提升计算效率与预测性能？
• RQ3 将关键协方差参数（如φ与α）固定在特定值，对大规模空间插值的预测准确性有多大影响？
• RQ4 所提出的SLGP模型能否在1700万个空间位置的数据集上实现低于1分钟的推理时间，同时保持不确定性量化能力？
• RQ5 在非平稳区域（如内陆阿拉斯加）中，该模型在长程空间预测上的泛化能力如何？

主要发现

• SLGP模型使用共轭推断，仅用约22分钟即完成了对17,357,816个LiDAR观测的完整贝叶斯克里金推断，相较MCMC方法的不可行运行时间具有显著优势。
• NNGP模型仅用9秒即完成计算，充分展示了共轭方法在大规模空间数据上的计算优势。
• NNGP与SLGP模型的预测结果与不确定性估计几乎无法区分，TIU数据集上的CRPS为0.38，RMSPE为0.69。
• 模型成功捕捉了冠层高度与方差的空间模式，树覆盖（β_TC = 0.12）与火灾发生（β_Fire = -0.03）的回归系数非零，表明预测因子具有实际意义。
• 空间范围参数φ估计为0.6（相当于约5公里），噪声与信号比α固定为0.13，支持了稳定且准确的预测。
• 结果证实，固定φ与α等关键参数不会降低预测性能，验证了共轭模型在大规模数据上的适用性。