[論文レビュー] Patchwork Kriging for Large-scale Gaussian Process Regression

Chiwoo Park, Daniel W. Apley|arXiv (Cornell University)|Jan 23, 2017

Gaussian Processes and Bayesian Inference参考文献 17被引用数 23

ひとこと要約

この論文では、入力空間を局所的領域に分割し、それぞれの領域に独立したGPモデルをフィットさせ、境界で滑らかに接続するように連続性制約を疑似観測として埋め込むことで、計算的に効率的でスケーラブルな大規模なガウス過程回帰手法「Patchwork Kriging」を提案する。この手法により、境界領域における予測精度が著しく向上し、既存の局所的GP手法よりも優れた不確実性の定量化が可能となる。

ABSTRACT

This paper presents a new approach for Gaussian process (GP) regression for large datasets. The approach involves partitioning the regression input domain into multiple local regions with a different local GP model fitted in each region. Unlike existing local partitioned GP approaches, we introduce a technique for patching together the local GP models nearly seamlessly to ensure that the local GP models for two neighboring regions produce nearly the same response prediction and prediction error variance on the boundary between the two regions. This largely mitigates the well-known discontinuity problem that degrades the boundary accuracy of existing local partitioned GP methods. Our main innovation is to represent the continuity conditions as additional pseudo-observations that the differences between neighboring GP responses are identically zero at an appropriately chosen set of boundary input locations. To predict the response at any input location, we simply augment the actual response observations with the pseudo-observations and apply standard GP prediction methods to the augmented data. In contrast to heuristic continuity adjustments, this has an advantage of working within a formal GP framework, so that the GP-based predictive uncertainty quantification remains valid. Our approach also inherits a sparse block-like structure for the sample covariance matrix, which results in computationally efficient closed-form expressions for the predictive mean and variance. In addition, we provide a new spatial partitioning scheme based on a recursive space partitioning along local principal component directions, which makes the proposed approach applicable for regression domains having more than two dimensions. Using three spatial datasets and three higher dimensional datasets, we investigate the numerical performance of the approach and compare it to several state-of-the-art approaches.

研究の動機と目的

• 局所的ガウス過程回帰手法における境界領域近くの予測精度を低下させる不連続性問題を解消すること。
• 計算的に効率的で、有効な予測不確実性の定量化を維持する大規模GP回帰フレームワークを開発すること。
• 新しい空間的分割と連続性の強制戦略を用いて、高次元および大規模なデータセットへのGP回帰の適用を可能にすること。
• GP予測の統計的性質を保ちながら、連続性を形式的ベイズ枠組みで扱うフレームワークを提供すること。

提案手法

• 局所的主成分方向に基づく再帰的空間分割法を用いて入力領域を局所的領域に分割し、高次元へのスケーラビリティを実現する。
• 各領域で独立に局所的GPモデルをフィットさせることで、計算効率を高めるためにブロック対角構造の共分散行列を実現する。
• 隣接する領域境界での予測応答および分散の差がゼロになるように制約するため、境界点に選択された疑似観測を導入して境界間の連続性を強制する。
• 疑似観測を標準的なGP予測フレームワークに組み込み、拡張されたデータを用いて予測平均および分散の閉形式計算を可能にする。
• 共分散行列にスパースなブロック構造を引き継ぐことで、O(N)またはO(NM²)の計算量で効率的なコレスキー分解が可能となる。
• 完全なベイズ的整合性を維持し、予測不確実性が有効かつ適切にキャリブレーションされることを保証する。

実験結果

リサーチクエスチョン

• RQ1 計算効率を損なわずに、局所的GPアプローチが境界領域で滑らかな予測を達成できるか。
• RQ2 形式的GPフレームワーク内で、統計的に整合性のある方法で局所的GPモデル間の連続性を強制できるか。
• RQ3 提案手法が、予測精度および不確実性の定量化において、既存の大規模GP手法を上回るか。
• RQ4 この手法は高次元入力空間に効果的に拡張可能か。
• RQ5 異なる分割戦略および疑似観測戦略における、計算コストと予測性能のトレードオフは何か。

主な発見

• 提案されたPatchwork Kriging手法は、すべてのテストデータセットでPGP、RBCM、PICよりも低い平均二乗誤差（MSE）を達成し、特に計算時間が短い場合に顕著であった。
• TCOオゾンデータセットでは、MSEおよび負の対数予測密度（NLPD）の両面でPGPおよびGMRFを上回ったが、特に計算時間が短い場合に顕著であった。
• テストセット全体で一貫したNLPDスコアが得られたことから、有効な予測不確実性の定量化が維持されていることが裏付けられた。
• 局所的主成分に沿った再帰的空間分割により、高次元入力空間における効果的でスケーラブルな分割が実現された。
• 疑似観測による連続性の強制は、ヒューリスティックなスムージング手法と比較して、境界領域での予測不一致を顕著に低減した。
• 100秒の計算時間でPGPを上回る予測性能を達成したことから、優れた効率-精度トレードオフが実証された。