[論文レビュー] Nonstationary Gaussian Process Surrogates

Annie Sauer, Andrew I. Cooper+1 more|arXiv (Cornell University)|May 30, 2023

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本論文は、コンピュータ実験における非定常ガウス過程（GP）サーモグラフの包括的サーベイを提示する。非定常カーネル、ローカルGP、ツリー型GP、およびVecchia近似を用いたディープGPを含む手法を評価している。8次元の人工衛星ドラッグシミュレーションにおいて、楕円スライス法とVecchia近似を用いた完全ベイズ的ディープGP（DGP ESS）が、変分推論やローカルGPアプローチを上回り、予測精度と不確実性評価（UQ）の両面で最高の性能を発揮した。

ABSTRACT

We provide a survey of nonstationary surrogate models which utilize Gaussian processes (GPs) or variations thereof, including nonstationary kernel adaptations, partition and local GPs, and spatial warpings through deep Gaussian processes. We also overview publicly available software implementations and conclude with a bake-off involving an 8-dimensional satellite drag computer experiment. Code for this example is provided in a public git repository.

研究の動機と目的

• コンピュータシミュレーションに一般的に見られる非定常応答面をモデル化する際に、定常GPの限界を克服すること。
• 予測精度と不確実性評価（UQ）の両面で、非定常GPサーモグラフ手法を評価・比較すること。
• 実世界の高次元シミュレーションにおいて、非定常GPモデルにおける完全ベイズ推論の有効性を示すこと。
• 100万回の実行を含む大規模な8次元人工衛星ドラッグシミュレーションを用いた再現可能なベンチマークの提供。
• 最適化、安全性分析、キャリブレーションなどの下流タスクにおけるUQの重要性を強調すること。

提案手法

• ペアワイズ距離を越える空間的に変化する共分散構造を許容する非定常カーネルの適応。
• 局所的共分散行列を用いた分割統治戦略を採用する局所近似GP（laGP）。
• 入力空間を異なるGPモデルを持つ領域に分割するツリー型GP（TGP）で、軸に沿ったレジームシフトを可能にする。
• スケーラブルな完全ベイズ推論を実現するため、楕円スライス法（ESS）とVecchia近似を用いたディープガウス過程（DGP）。
• スケーリングされたVecchia近似（SVEC）を定常GPに適用し、スケーラビリティの向上とベースライン比較を図る。
• 比較のため、GPfluxに二重確率的変分推論（DSVI）を実装したが、UQ性能は限定的であった。

Figure 1: Various surrogate fits to the piecewise Higdon function. Training data is observed without noise, but each surrogate is tasked with learning the noise level. The lower right panel shows elliptical slice samples of the DGP’s latent layer, stretching inputs in the left region and compressing

実験結果

リサーチクエスチョン

• RQ1 高次元で現実世界のコンピュータシミュレーションにおいて、非定常GPサーモグラフは予測精度と不確実性評価（UQ）の両面でどのように比較されるか？
• RQ2 完全ベイズ推論は、非定常GPモデルにおけるUQと予測にどのような影響を与えるか？
• RQ3 なぜ変分推論（DSVI）を用いたDGPは、低データ量・高信号のコンピュータシミュレーション環境で性能が低いのか？
• RQ4 ローカルGPやツリー型GPは、複雑な物理的シミュレーションにおけるレジームシフトを効果的に捉えることができるか？
• RQ5 入力の前処理スケーリングが、さまざまな非定常GP手法の性能にどのように影響するか？

主な発見

• DGP ESSモデルは、最小の平均二乗誤差（RMSE）と連続ランク確率スコア（CRPS）を達成し、優れた予測精度と不確実性評価を示した。
• DSVIに基づくDGPは、RMSEとCRPSの両方で劣悪な性能を示した。これは、変分推論が不確実性を低く見積もる傾向があり、低データ・高信号領域でのフィットが悪いことによる可能性が高い。
• ローカルGP（laGP）は良好な性能を示したが、SVECを用いた定常GPに劣っており、大規模データを想定した設計が中程度の非定常シミュレーションには適さない可能性を示唆している。
• ツリー型GP（TGP）は強力な性能を示し、特に第8の入力（パネルアングル）に起因するレジームシフトを捉えており、Hubble望遠鏡シミュレーションにおける物理的ダイナミクスと整合する軸に沿った分割が有効であることを示している。
• TGPとDGP ESSにおける完全ベイズ推論は、より信頼性の高いUQをもたらし、下流意思決定における一貫性のある不確実性伝搬の重要性を強調している。
• SVECモデルの長さスケールを用いた入力スケーリングにより、すべての手法の性能が向上した。これは、標準的な前処理ステップとしての価値を確認するものである。

Figure 2: Left: Example of a tree generated by TGP on an LGBB dataset. Splits are made on speed (mach) and angle of attack (alpha). Right: Predictive surface plot of the rocket’s lift. The partition on the input space generated by the tree is shown on the bottom panel, with colors corresponding to r