[論文レビュー] Linear-Cost Covariance Functions for Gaussian Random Fields

Jie Chen, Michael L. Stein|arXiv (Cornell University)|Nov 16, 2017

Soil Geostatistics and Mapping参考文献 76被引用数 6

ひとこと要約

本論文は、ガウス型ランダム場のための新しい共分散関数のクラスを提案し、それによって階層行列構造を誘導することで、サンプリング、クリギング、尤度評価の計算コストを線形に抑える。ネストされた基底関数と階層行列アルゴリズムを活用することで、サンプリングと尤度評価がO(n)、クリギングの平均コストがO(log n)となり、200万件を超える観測データに対してもスケーリング可能でありながら、予測精度を維持する。

ABSTRACT

Gaussian random fields (GRF) are a fundamental stochastic model for spatiotemporal data analysis. An essential ingredient of GRF is the covariance function that characterizes the joint Gaussian distribution of the field. Commonly used covariance functions give rise to fully dense and unstructured covariance matrices, for which required calculations are notoriously expensive to carry out for large data. In this work, we propose a construction of covariance functions that result in matrices with a hierarchical structure. Empowered by matrix algorithms that scale linearly with the matrix dimension, the hierarchical structure is proved to be efficient for a variety of random field computations, including sampling, kriging, and likelihood evaluation. Specifically, with $n$ scattered sites, sampling and likelihood evaluation has an $O(n)$ cost and kriging has an $O(\log n)$ cost after preprocessing, particularly favorable for the kriging of an extremely large number of sites (e.g., predicting on more sites than observed). We demonstrate comprehensive numerical experiments to show the use of the constructed covariance functions and their appealing computation time. Numerical examples on a laptop include simulated data of size up to one million, as well as a climate data product with over two million observations.

研究の動機と目的

• 密行列としての共分散行列に要するO(n³)の計算量とO(n²)の記憶容量による、大規模なガウス型ランダム場モデルの計算不能性に対処すること。
• 正定値性を保ちつつ、効率的な階層行列計算を可能にする共分散関数の構築を目的とする。
• サンプリング、クリギング、尤度評価といった主要な演算について、大規模データセットで線形またはほぼ線形の計算コストを達成すること。
• 200万件を超える観測を持つ実世界の気象データを用いてスケーラビリティを実証し、ベースライン性能を同等に保ちながら計算時間を著しく短縮すること。

提案手法

• ネストされた基底関数を用いて構築される、$k_{\rm{h}}$ と表記される新しい共分散関数のクラスを提案し、これにより得られる共分散行列に階層行列構造を誘導する。
• 木構造のスパarsityパターンを活用する階層行列アルゴリズムを用い、サンプリングと尤度評価の算術的および記憶コストをO(n)に削減する。
• 多重スケール基底関数分解を用いて共分散関数を階層的フレームワークに埋め込み、効率的な行列因数分解および解法演算を可能にする。
• クリギングに階層構造を適用する際、事前に階層的表現を計算することで、新しい地点での予測コストを1地点あたりO(log n)に抑える。
• 階層行列フレームワークを活用し、大規模データセットにおける尤度関数の効率的計算を実現し、最尤推定やMCMCを可能にする。
• 合成データと200万件を超える観測を持つ実際の気象データを用いて、標準的な共分散関数との性能比較を通じて手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 共分散関数を設計することで、その誘導する共分散行列が階層構造を有し、線形コストの計算を可能にすることができるか？
• RQ2 提案された階層的共分散関数は、計算コストを著しく削減しながらも、標準的な共分散関数と同等の予測精度を維持できるか？
• RQ3 観測点よりも多くの地点での予測に対しても、提案手法により1地点あたりのクリギングコストをO(log n)の平均コストで実現できるか？
• RQ4 階層構造を用いることで、大規模データセットにおいて最尤推定と尤度関数の評価を効率的に行えるか？

主な発見

• 提案された共分散関数 $k_{\rm{h}}$ は、階層行列構造を生成し、O(n)のサンプリングと尤度評価、および1予測地点あたりO(log n)の平均クリギングコストを実現する。
• 100万点の合成データセットにおいて、標準的なラップトップで10分未満で全計算を完了し、線形スケーリングを示した。
• 200万件を超える観測を持つ実際の気象データセットにおいて、$k_{\rm{h}}$ を用いた場合の予測精度はベースライン関数と同等であり、平均二乗予測誤差は0.01556であった。
• $k_{\rm{h}}$ を用いて計算された対数尤度値は、$k$ を用いたベースラインと1000以内の差に収まり、近似にもかかわらず高い統計的整合性を示した。
• $k_{\rm{h}}$ を用いたハイパーパramータの最適化により、$k$ からの推定値に近い結果が得られ、対数尤度関数の形状も視覚的に同一であったため、推論への応用が有効であることを支持する。
• 本手法により、O(n)の予測地点に対してO(n log n)の総コストでスケーラブルなクリギングが可能となり、従来の密行列線形代数手法のO(n³)のボトルネックを克服した。