[论文解读] A Divide-and-Conquer Bayesian Approach to Large-Scale Kriging

Rajarshi Guhaniyogi, Cheng Li+2 more|arXiv (Cornell University)|Dec 28, 2017

Soil Geostatistics and Mapping参考文献 67被引用 25

一句话总结

本文提出分布式克里金法（DISK），一种分而治之的贝叶斯框架，通过将数据划分为子集、使用修改后的似然函数并行计算后验分布，并通过最优组合生成近似完整数据后验的伪后验，从而在大规模空间克里金法中实现近乎最优的可扩展性。该方法在各种协方差结构下，实现了对真实空间表面估计的近乎极小极大最优收敛速率。

ABSTRACT

We propose a three-step divide-and-conquer strategy within the Bayesian paradigm that delivers massive scalability for any spatial process model. We partition the data into a large number of subsets, apply a readily available Bayesian spatial process model on every subset, in parallel, and optimally combine the posterior distributions estimated across all the subsets into a pseudo-posterior distribution that conditions on the entire data. The combined pseudo posterior distribution replaces the full data posterior distribution for predicting the responses at arbitrary locations and for inference on the model parameters and spatial surface. Based on distributed Bayesian inference, our approach is called "Distributed Kriging" (DISK) and offers significant advantages in massive data applications where the full data are stored across multiple machines. We show theoretically that the Bayes $L_2$-risk of the DISK posterior distribution achieves the near optimal convergence rate in estimating the true spatial surface with various types of covariance functions, and provide upper bounds for the number of subsets as a function of the full sample size. The model-free feature of DISK is demonstrated by scaling posterior computations in spatial process models with a stationary full-rank and a nonstationary low-rank Gaussian process (GP) prior. A variety of simulations and a geostatistical analysis of the Pacific Ocean sea surface temperature data validate our theoretical results.

研究动机与目标

• 为解决大规模空间数据集上完整贝叶斯空间建模因 O(n³) 计算成本和 O(n²) 存储需求导致的计算不可行性。
• 开发一种通用、模型无关的框架，提升任意基于高斯过程的空间模型的可扩展性，且无需施加限制性假设。
• 在保持分布式系统中计算效率的同时，确保对真实空间表面估计的理论最优性。
• 提供一种有原则的、分布式的贝叶斯推断方法，支持预测、参数推断和表面插值。

提出的方法

• 将完整的空间数据集划分为 k 个互不相交的子集，确保每个子集均代表完整的空间域。
• 对每个子集应用任意选定的贝叶斯空间过程模型，将似然函数乘以 n/m_j 因子，以保持后验方差的缩放一致性。
• 并行计算各子集的后验分布，确保每个后验分布均反映其对应数据子集的信息量。
• 使用 Wasserstein 中心（Wasserstein barycenter）技术，最优地将 k 个子集后验分布组合成单一的 DISK 伪后验，以近似完整数据后验。
• 在每个子集中使用 Gibbs 采样结合 Metropolis-Hastings 算法进行后验计算，且对大多数参数采用解析可处理的条件后验分布。
• 利用组合后的 DISK 后验推导新位置的预测分布，从而实现可扩展的预测与推断。

实验结果

研究问题

• RQ1 分而治之的贝叶斯方法是否能在大规模空间数据中实现对真实空间表面估计的近乎极小极大最优收敛速率？
• RQ2 DISK 框架在将独立数据分区的子集后验组合时，如何保持理论上的准确性？
• RQ3 在 n 增大时，保持最优估计性能的子集数量 k 的上界是多少？
• RQ4 DISK 框架是否可应用于平稳与非平稳空间模型，而无需依赖特定模型假设？
• RQ5 修改后的似然函数缩放（n/m_j）如何确保子集后验之间方差行为的一致性？

主要发现

• DISK 后验的贝叶斯 L₂ 风险在包括平稳与非平稳类型在内的广泛协方差函数类中，实现了近乎极小极大最优的收敛速率。
• 子集数量 k 的上界随完整样本大小 n 和真实空间表面的光滑度而增长，确保了理论一致性。
• 该方法通过将完整贝叶斯克里金法的 O(n³) 计算成本降低为每个子集的 O(k m_j³)，保持了计算可行性，其中 m_j 为每个子集的大小。
• 模拟实验与对太平洋海洋表层温度数据的真实世界分析表明，DISK 实现了与完整数据方法相当的准确表面估计与预测性能。
• DISK 框架在模型无关的意义上成立，可应用于任意基于高斯过程的空间模型，包括低秩与全秩高斯过程。
• 使用 Wasserstein 中心组合子集后验，确保了伪后验的一致性与良好校准性，使其可作为完整数据后验在推断与预测中的替代品。