[论文解读] DeepKriging: Spatially Dependent Deep Neural Networks for Spatial Prediction

Wanfang Chen, Yuxiao Li+2 more|arXiv (Cornell University)|Jul 23, 2020

Spatial and Panel Data Analysis被引用 11

一句话总结

DeepKriging 引入了一种空间依赖的深度神经网络，通过基函数对空间坐标进行嵌入，以实现非线性、可扩展的空间预测并量化不确定性。它通过捕捉非平稳和非高斯的空间依赖性，推广了克里金法，在 PM2.5 数据和模拟研究中，其预测精度和不确定性估计均优于克里金法和标准 DNN。

ABSTRACT

In spatial statistics, a common objective is to predict values of a spatial process at unobserved locations by exploiting spatial dependence. Kriging provides the best linear unbiased predictor using covariance functions and is often associated with Gaussian processes. However, when considering non-linear prediction for non-Gaussian and categorical data, the Kriging prediction is no longer optimal, and the associated variance is often overly optimistic. Although deep neural networks (DNNs) are widely used for general classification and prediction, they have not been studied thoroughly for data with spatial dependence. In this work, we propose a novel DNN structure for spatial prediction, where the spatial dependence is captured by adding an embedding layer of spatial coordinates with basis functions. We show in theory and simulation studies that the proposed DeepKriging method has a direct link to Kriging in the Gaussian case, and it has multiple advantages over Kriging for non-Gaussian and non-stationary data, i.e., it provides non-linear predictions and thus has smaller approximation errors, it does not require operations on covariance matrices and thus is scalable for large datasets, and with sufficiently many hidden neurons, it provides the optimal prediction in terms of model capacity. We further explore the possibility of quantifying prediction uncertainties based on density prediction without assuming any data distribution. Finally, we apply the method to predicting PM2.5 concentrations across the continental United States.

研究动机与目标

• 解决传统克里金法在处理非高斯、非平稳和大规模空间数据时的局限性。
• 开发一种深度学习框架，通过空间坐标嵌入显式建模空间依赖性。
• 在不假设参数化数据分布的前提下，实现非线性预测和不确定性量化。
• 通过避免协方差矩阵求逆，实现计算可扩展性。
• 提供一种灵活且高容量的模型，既能推广克里金法，又能保持与高斯过程的理论联系。

提出的方法

• 引入一种深度神经网络，其嵌入层将空间坐标映射到基函数空间，以编码空间依赖性。
• 使用基函数（如径向基函数或傅里叶特征）将空间坐标转换为捕捉空间相关性的潜在表示。
• 将模型构建为深度前馈网络，输入为空间坐标和协变量，隐藏层学习非线性关系。
• 采用高斯过程表示，通过预测方差和密度估计实现不确定性量化。
• 通过随机划分的集成方法进行密度预测，无需分布假设即可估计完整的预测分布。
• 通过避免 $O(N^3)$ 的协方差矩阵运算，实现高效扩展，适用于大规模空间数据集。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，以显式建模空间依赖性的方式推广克里金法，适用于非高斯和非平稳过程？
• RQ2 在非高斯数据上，所提出的 DeepKriging 方法与经典克里金法相比，在预测精度和不确定性量化方面表现如何？
• RQ3 该方法能否在不进行矩阵求逆操作的情况下，实现在大规模空间数据集上的可扩展推理？
• RQ4 该模型在多大程度上能够捕捉标准克里金法无法建模的异方差性和复杂空间协方差结构？
• RQ5 能否在不假设特定参数分布的前提下，通过密度预测可靠地量化不确定性？

主要发现

• 在非高斯混合模拟中，DeepKriging 的均方根误差（RMSE）与克里金法相当（0.485 vs. 0.490），但平均分位数损失显著更低（0.12 vs. 60.47），表明其分位数估计性能更优。
• 该方法能够捕捉空间过程中存在的异方差性，例如在高空间位置处方差增大，而克里金法无法建模此类现象。
• 与克里金法相比，DeepKriging 提供了更准确、更真实的 95% 预测区间，后者在高方差区域低估了不确定性。
• 该模型计算效率高，避免了克里金法的 $O(N^3)$ 复杂度，适用于大规模空间数据集。
• 通过集成随机划分实现的基于密度的不确定性量化，可生成平滑的非参数化预测密度，无需假设特定数据分布。
• 在全美大陆的实测 PM2.5 数据上，DeepKriging 在空间预测性能上优于克里金法和将坐标视为简单特征的标准 DNN。