[論文レビュー] Approximating Gaussian Process Emulators with Linear Inequality Constraints and Noisy Observations via MC and MCMC

Andrés F. López-Lopera, François Bachoc+4 more|arXiv (Cornell University)|Jan 15, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用数 10

ひとこと要約

本稿では、線形不等式制約とノイズのある観測を伴うガウス過程（GP）エミュレータのための新しいフレームワークを提案する。モンテカルロ（MC）およびマーカフチェーン・モンテカルロ（MCMC）手法を用いる。厳密な補間を緩和するためのノイズ項を導入することで、制約の少ない空間でのより効率的なサンプリングが可能となり、MCMCの効率が著しく向上し、海岸洪水のような高次元問題におけるスケーラブルで現実的なGPエミュレーションが実現される。

ABSTRACT

Adding inequality constraints (e.g. boundedness, monotonicity, convexity) into Gaussian processes (GPs) can lead to more realistic stochastic emulators. Due to the truncated Gaussianity of the posterior, its distribution has to be approximated. In this work, we consider Monte Carlo (MC) and Markov Chain Monte Carlo (MCMC) methods. However, strictly interpolating the observations may entail expensive computations due to highly restrictive sample spaces. Furthermore, having (constrained) GP emulators when data are actually noisy is also of interest for real-world implementations. Hence, we introduce a noise term for the relaxation of the interpolation conditions, and we develop the corresponding approximation of GP emulators under linear inequality constraints. We show with various toy examples that the performance of MC and MCMC samplers improves when considering noisy observations. Finally, on 2D and 5D coastal flooding applications, we show that more flexible and realistic GP implementations can be obtained by considering noise effects and by enforcing the (linear) inequality constraints.

研究の動機と目的

• GPエミュレータにおける厳密な補間制約下での切断ガウス過程の計算的非実行可能性に対処すること。
• 観測ノイズによる補間の緩和を通じて、MCおよびMCMC手法のサンプリング効率を向上させること。
• モノトニック性や正値性といった物理的制約を満たす高次元問題（例：5次元の海岸洪水）における実用的で現実的なGPエミュレーションを可能にすること。
• ノイズを用いた観測の緩和が、制約付きMCMCサンプリングにおけるより高い有効サンプルサイズとより速い収束をもたらすかどうかを示すこと。
• 小規模なトレーニングデータでも正確なまま保てる、スケーラブルな制約付きGPエミュレーションのフレームワークを提供すること。

提案手法

• キーポints（knots）を用いた区分的線形基底関数による有限次元GP近似を導入し、入力空間全体にわたる線形不等式制約の正確な強制を可能にする。
• 観測をノイズ項でモデル化することで、厳密な補間を緩和し、制約付き事後分布をより制限の少ないサンプリング空間に変換する。
• MCMCおよびハミルトニアン・モンテカルロ（HMC）サンプラーを用いて、制約およびノイズ下での切断事後分布を近似する。
• 高次元入力における構造的共分散のため、1次元のMatérn 5/2カーネルのクロネッカー積を用いる。パラメータは最尤推定により推定する。
• 海岸洪水応用において、主な入力次元（TおよびS）に正値性および単調性制約を適用する。
• 線形的挙動を示す次元（例：T、S、t−、t+）において、スパースなキーポイント配置を採用し、計算コストを削減しながらも精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 制約付きGPエミュレータに観測ノイズを導入することで、MCおよびMCMCサンプラーの効率と収束性が向上するか？
• RQ2 ノイズによる補間制約の緩和は、高次元問題におけるGPエミュレータの精度と現実性にどのように影響するか？
• RQ3 ノイズを伴う制約付きGPエミュレータは、5次元応用において高い有効サンプルサイズと妥当な実行時間を得られるか？
• RQ4 限られたトレーニングデータ下で、正値性および単調性制約は予測性能をどの程度向上させるか？
• RQ5 提案されたフレームワークは、海岸洪水シミュレーションのような現実世界の高次元問題にスケーラブルに適用可能か？

主な発見

• 観測ノイズの導入により、サンプリング空間の制限性が著しく低下し、MCMCのサンプリング効率が向上。収束が速くなり、有効サンプルサイズも高くなる。
• 1次元および5次元の単調性例において、HMCサンプラーが他のサンプラーを上回り、高次元の制約付き空間でも高い有効サンプルサイズを達成した。
• データの10％（20観測）のみを用いても、正値性および単調性制約を課した制約付きGPエミュレータは、海岸洪水応用で高い予測精度（Q2の向上）を達成した。
• MCおよびMCMCサンプラーの計算複雑度は、観測数（n）ではなくキーポイント数（m）に依存する。nが非常に大きい場合でもm ≪ nとすることで、スケーラブルな推論が可能になる。
• 本フレームワークは、正値性や単調性などの線形不等式制約を正確に強制しつつ、トピックおよび現実世界の2次元および5次元応用において現実的で物理的根拠のあるプロファイルを維持した。
• 線形挙動を示す次元におけるスパースなキーポイント配置により、計算コストが削減されたが、予測精度に悪影響を与えることなく、スケーラビリティを支持した。