[論文レビュー] A Divide-and-Conquer Bayesian Approach to Large-Scale Kriging

Rajarshi Guhaniyogi, Cheng Li+2 more|arXiv (Cornell University)|Dec 28, 2017

Soil Geostatistics and Mapping参考文献 67被引用数 25

ひとこと要約

本稿では、分散型クリギング（DISK）を提案する。これは、データをサブセットに分割し、修正された尤度を用いて並列で事後分布を計算し、それらを最適に組み合わせて完全データ事後分布を近似する、分割統治型のベイズ枠組みである。この手法により、さまざまな共分散構造下でも真の空間表面の推定においてほぼミニマックス最適収束速度を達成できる。

ABSTRACT

We propose a three-step divide-and-conquer strategy within the Bayesian paradigm that delivers massive scalability for any spatial process model. We partition the data into a large number of subsets, apply a readily available Bayesian spatial process model on every subset, in parallel, and optimally combine the posterior distributions estimated across all the subsets into a pseudo-posterior distribution that conditions on the entire data. The combined pseudo posterior distribution replaces the full data posterior distribution for predicting the responses at arbitrary locations and for inference on the model parameters and spatial surface. Based on distributed Bayesian inference, our approach is called "Distributed Kriging" (DISK) and offers significant advantages in massive data applications where the full data are stored across multiple machines. We show theoretically that the Bayes $L_2$-risk of the DISK posterior distribution achieves the near optimal convergence rate in estimating the true spatial surface with various types of covariance functions, and provide upper bounds for the number of subsets as a function of the full sample size. The model-free feature of DISK is demonstrated by scaling posterior computations in spatial process models with a stationary full-rank and a nonstationary low-rank Gaussian process (GP) prior. A variety of simulations and a geostatistical analysis of the Pacific Ocean sea surface temperature data validate our theoretical results.

研究の動機と目的

• O(n³)の計算コストとO(n²)の記憶領域を要する大規模空間データセットにおける完全ベイズ的空間モデリングの計算的非実行可能性に対処すること。
• 制限のない仮定を必要とせず、任意のGPベースの空間モデルのスケーラビリティを向上させる一般化された、モデルに依存しないフレームワークの開発。
• 分散システム上で計算効率を維持しつつ、真の空間表面の推定における理論的最適性を保証すること。
• 予測、パラメータ推定、表面補間をサポートする、整合的かつ分散型のベイズ推論アプローチの提供。

提案手法

• 全空間的データセットをk個の互いに素なサブセットに分割し、各サブセットが全空間的領域を代表するようにする。
• 各サブセットに任意の選択されたベイズ的空間プロセスモデルを適用し、事後分散のスケーリングを保つために尤度をn/m_j倍する。
• 各サブセットの事後分布を並列に計算し、それぞれが全データの情報量を反映するようにする。
• Wasserstein重心技術を用いてk個のサブセット事後分布を最適に組み合わせ、完全データ事後分布を近似する1つのDISK疑似事後分布を生成する。
• Gibbsサンプリングにメトロポリス・ハスティングス法を組み合わせ、ほとんどのパラメータに対して解析的に取り扱える条件付き分布を用いる。
• 組み合わせたDISK事後分布を用いて、新しい位置の予測分布を導出することで、スケーラブルな予測と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分割統治型ベイズ的手法は、大規模空間データにおいて真の空間表面を推定する際に、ほぼミニマックス最適収束速度を達成できるか？
• RQ2 独立なデータパーティションからのサブセット事後分布を組み合わせる際、DISKフレームワークは理論的精度をどのように維持するか？
• RQ3 nが増加する際、最適な推定性能を保つために、サブセット数kの上限はどの程度か？
• RQ4 DISKフレームワークは、モデル固有の仮定を必要とせず、定常的および非定常的空間モデルの両方へ適用可能か？
• RQ5 修正された尤度スケーリング（n/m_j）は、サブセット事後分布間で一貫した分散行動をどのように保証するか？

主な発見

• DISK事後分布のベイズL₂リスクは、定常的および非定常的タイプを含む広範な共分散関数クラスにおいて、ほぼミニマックス最適収束速度を達成する。
• サブセット数kの上限は、全サンプルサイズnと真の空間表面の滑らかさの関数として成長し、理論的整合性を保証する。
• 各サブセットの計算コストをO(k m_j³)に削減することで、完全ベイズ的クリギングのO(n³)コストを計算的に実行可能にする。
• 太平洋の海面水温データを用いたシミュレーションと実世界の分析から、DISKは完全データ手法と同等の精度で表面推定と予測を達成することが確認された。
• DISKフレームワークは、低ランクおよびフルランクのガウス過程を含む、任意のGPベースの空間モデルに適用可能である点で、モデルフリーである。
• サブセット事後分布の組み合わせにWasserstein重心を用いることで、完全データ事後分布の代替として、整合的かつ適切にキャリブレーションされた疑似事後分布が得られる。