[論文レビュー] Conjugate Nearest Neighbor Gaussian Process Models for Efficient Statistical Interpolation of Large Spatial Data

Shinichiro Shirota, Andrew O. Finley+2 more|arXiv (Cornell University)|Jul 23, 2019

Soil Geostatistics and Mapping参考文献 29被引用数 4

ひとこと要約

本稿では、低ランクガウス過程予測プロセス（GPP）とスパarsity誘導型最近傍ガウス過程（NNGP）を組み合わせた共役ベイズ型最近傍ガウス過程モデルを提案する。これにより、巨視的空間データセットの正確かつ計算的に効率的な空間補間が可能になる。1700万件のLiDAR観測データに対して、1分未満で完全ベイズ的クリギング推論が達成され、インナーアラスカにおける炭素モニタリングを含む大規模リモートセンシング応用分野における高精度な不確実性評価が可能になる。

ABSTRACT

A key challenge in spatial statistics is the analysis for massive spatially-referenced data sets. Such analyses often proceed from Gaussian process specifications that can produce rich and robust inference, but involve dense covariance matrices that lack computationally exploitable structures. The matrix computations required for fitting such models involve floating point operations in cubic order of the number of spatial locations and dynamic memory storage in quadratic order. Recent developments in spatial statistics offer a variety of massively scalable approaches. Bayesian inference and hierarchical models, in particular, have gained popularity due to their richness and flexibility in accommodating spatial processes. Our current contribution is to provide computationally efficient exact algorithms for spatial interpolation of massive data sets using scalable spatial processes. We combine low-rank Gaussian processes with efficient sparse approximations. Following recent work by [1], we model the low-rank process using a Gaussian predictive process (GPP) and the residual process as a sparsity-inducing nearest-neighbor Gaussian process (NNGP). A key contribution here is to implement these models using exact conjugate Bayesian modeling to avoid expensive iterative algorithms. Through the simulation studies, we evaluate performance of the proposed approach and the robustness of our models, especially for long range prediction. We implement our approaches for remotely sensed light detection and ranging (LiDAR) data collected over the US Forest Service Tanana Inventory Unit (TIU) in a remote portion of Interior Alaska.

研究の動機と目的

• 1000万以上の地点を有する巨視的空間データセットにおけるフル尤度ガウス過程モデルの計算的非実行性に対処すること。
• MCMCサンプリングに費やす高コストを回避しながら、完全な不確実性評価を維持するスケーラブルかつ正確な推論フレームワークの開発。
• 森林バイオマスや炭素モニタリングを含む、大規模リモートセンシング応用分野における高精度な空間予測と不確実性推定を可能にすること。
• 低ランクGPPとスパースNNGPのコンポonentを共役ベイズ枠組み内で統合することで、スケールの大きな空間モデリングに有効であることを示すこと。
• 米国森林サービス・タナナインventリーアー（TIU）のような大規模領域における空間プロセスのMCMCベース推論の実用的で計算的に効率的な代替手段を提供すること。

提案手法

• 空間プロセスを、長距離依存性を扱う低ランクガウス過程予測プロセス（GPP）と、微細スケールの残差を処理するスパarsity誘導型最近傍ガウス過程（NNGP）に分解する。
• スパース＋低ランクガウス過程（SLGP）として定式化された統合モデルにより、反復的MCMCアルゴリズムを回避することで、正確な共役ベイズ推論が可能になる。
• パラメータ推定では、空間減衰パラメータφやノイズ対信号比αといった重要な共分散パラメータを妥当な値に固定することで、計算負荷を低減しつつも予測精度を損なわない。
• 並列計算と効率的なメモリ管理を活用し、最大1700万個の空間的地点を有するデータセットにスケーリング可能である。
• 多変量正規分布理論を用いて、任意の地点における正確な後方予測分布を導出することで、高速な予測と不確実性評価が可能になる。
• モデルフィッティングにはK-fold交差検証を用い、大規模空間領域におけるハイパーパramータのチューニングと性能検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 MCMCを回避しつつも予測精度を維持するという点で、共役ベイズ推論が大規模空間モデルに効果的に適用可能かどうか。
• RQ2 低ランクGPPとスパースNNGPコンポーネントの組み合わせが、巨視的空間データセットにおける計算効率と予測性能をどの程度向上させるか。
• RQ3 空間減衰パラメータφやノイズ対信号比αといった重要な共分散パラメータを固定することで、大規模空間補間における予測精度にどの程度の影響が生じるか。
• RQ4 提案されたSLGPモデルが、1700万個の空間的地点を有するデータセットに対して1分未塔の推論時間を達成しつつも、不確実性評価を維持できるか。
• RQ5 非ステーションナリティ領域（例えばインナーアラスカ）において、モデルが長距離空間予測にどの程度一般化可能か。

主な発見

• SLGPモデルは、共役推論を用いて17,357,816件のLiDAR観測データに対して完全ベイズ的クリギング推論を約22分で達成した。MCMCの実行が非現実的であるのと比較して顕著な改善である。
• NNGPモデルはわずか9秒で完了し、大規模空間データにおける共役アプローチの計算的利点を実証した。
• NNGPおよびSLGPモデルの両方が、予測と不確実性推定において区別不能な結果を出力した。TIUデータセットではCRPSが0.38、RMSPEが0.69であった。
• モデルは被覆高さとその分散の空間パターンを適切に捉えており、木被覆（β_TC = 0.12）および火災発生（β_Fire = -0.03）の係数が非ゼロであったため、予測子の効果が意味を持つことが示された。
• 空間範囲パラメータφは0.6（約5 kmに相当）と推定され、ノイズ対信号比αは0.13に固定された。これは安定かつ正確な予測を支える要因となった。
• φやαといった重要なパラメータを固定しても予測性能が劣化しないことが確認され、巨視的データに対して共役モデルが有効であることが裏付けられた。