[論文レビュー] DeepKriging: Spatially Dependent Deep Neural Networks for Spatial Prediction

Wanfang Chen, Yuxiao Li+2 more|arXiv (Cornell University)|Jul 23, 2020

Spatial and Panel Data Analysis被引用数 11

ひとこと要約

DeepKriging は、空間的基底関数を用いて空間座標を埋め込むことで、非線形的でスケーラブルな空間予測と不確実性の定量化を可能にする空間依存性を持つ深層ニューラルネットワークを導入する。非ステーションリティおよび非ガウス型の空間的依存性を捉えることで、Kriging よりも優れた予測精度と不確実性推定を達成し、PM2.5 データおよびシミュレーション研究において、Kriging や標準的な DNN よりも優れている。

ABSTRACT

In spatial statistics, a common objective is to predict values of a spatial process at unobserved locations by exploiting spatial dependence. Kriging provides the best linear unbiased predictor using covariance functions and is often associated with Gaussian processes. However, when considering non-linear prediction for non-Gaussian and categorical data, the Kriging prediction is no longer optimal, and the associated variance is often overly optimistic. Although deep neural networks (DNNs) are widely used for general classification and prediction, they have not been studied thoroughly for data with spatial dependence. In this work, we propose a novel DNN structure for spatial prediction, where the spatial dependence is captured by adding an embedding layer of spatial coordinates with basis functions. We show in theory and simulation studies that the proposed DeepKriging method has a direct link to Kriging in the Gaussian case, and it has multiple advantages over Kriging for non-Gaussian and non-stationary data, i.e., it provides non-linear predictions and thus has smaller approximation errors, it does not require operations on covariance matrices and thus is scalable for large datasets, and with sufficiently many hidden neurons, it provides the optimal prediction in terms of model capacity. We further explore the possibility of quantifying prediction uncertainties based on density prediction without assuming any data distribution. Finally, we apply the method to predicting PM2.5 concentrations across the continental United States.

研究の動機と目的

• 従来の Kriging が非ガウス型、非ステーションリティ、大規模な空間データを扱う際に抱える制限を解消すること。
• 空間座標の埋め込みを通じて空間的依存性を明示的にモデル化する深層学習フレームワークを開発すること。
• パrametricなデータ分布の仮定をせず、非線形予測と不確実性の定量化を可能にすること。
• 共分散行列の逆行列計算を回避することで、計算のスケーラビリティを確保すること。
• Kriging を一般化しつつもガウス過程との理論的つながりを保ちながら、柔軟で高容量なモデルを提供すること。

提案手法

• 空間座標を基底関数空間にマップする埋め込み層を備えた深層ニューラルネットワークを導入し、空間的依存性を符号化する。
• 径数基底関数やフーリエ特徴量などの基底関数を用いて、空間座標を空間相関を捉える潜在表現に変換する。
• 入力が空間座標と共変数である深層順方向ネットワークとしてモデルを構築し、隠れ層が非線形関係を学習する。
• 予測分散と密度推定を可能にするガウス過程表現を採用して、不確実性の定量化を実現する。
• 分布の仮定をしないように、ランダムな分割に基づくアンサンブルによる密度予測を適用して、完全な予測分布を推定する。
• 共分散行列の $O(N^3)$ 操作を回避することで、大規模な空間データセットへの適用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非ガウス型および非ステーションリティなプロセスに対して、Kriging を一般化する形で空間的依存性を明示的にモデル化できる深層ニューラルネットワークを設計できるか？
• RQ2 非ガウス型データにおいて、提案手法 DeepKriging は古典的 Kriging と比較して、予測精度および不確実性の定量化において優れているか？
• RQ3 行列の逆行列計算を回避することで、大規模な空間データセットにおいても効率的な推論が可能か？
• RQ4 標準的な Kriging がモデル化できない、異分散性および複雑な空間共分散構造をどの程度正確に捉えられるか？
• RQ5 特定のパラメトリック分布を仮定しないで、密度予測によって信頼性のある不確実性を定量化できるか？

主な発見

• 非ガウス型混合分布のシミュレーションにおいて、DeepKriging は Kriging と同等の平均二乗誤差（RMSE: 0.485 対 0.490）を達成したが、平均分位数損失は著しく低い（0.12 対 60.47）であり、分位数推定の優位性が示された。
• この手法は、空間的プロセスにおける異分散性（例：高空間位置での分散の増加）を捉えることができ、Kriging ではモデル化できない。
• DeepKriging は Kriging よりもより正確で現実的な 95% 予測区間を提供しており、特に分散が高い領域では Kriging が不確実性を低く見積もっているのを是正した。
• Kriging の $O(N^3)$ の複雑さを回避することで、効率的なスケーリングが可能となり、大規模な空間データセットへの適用が可能になった。
• アンサンブルによるランダムな分割に基づく密度予測により、特定のデータ分布を仮定しない滑らかで非パラメトリックな予測密度が得られた。
• 米国本土の実世界の PM2.5 データにおいて、DeepKriging は Kriging や座標を単純な特徴量として扱う標準的な DNN よりも優れた空間予測性能を示した。