[論文レビュー] Deep Gaussian Process Emulation using Stochastic Imputation

Deyu Ming, Daniel Williamson+1 more|arXiv (Cornell University)|Jul 4, 2021

Gaussian Processes and Bayesian Inference参考文献 31被引用数 4

ひとこと要約

本稿では、潜在層を確率的に補完することで深層ガウス過程（DGP）を連結ガウス過程に変換する、深層ガウス過程（DGP）エミュレーションのための新しい推論手法「確率的補完（Stochastic Imputation, SI）」を提案する。この手法により、最適化に基づく学習が効率的に行え、閉形式の予測分布を用いた解析的扱い可能な予測が可能となり、精度、不確実性評価、計算効率の面で、二重スチューデンティック変分推論（DSVI）および完全ベイズ的手法と同等の性能を達成する。

ABSTRACT

Deep Gaussian processes (DGPs) provide a rich class of models that can better represent functions with varying regimes or sharp changes, compared to conventional GPs. In this work, we propose a novel inference method for DGPs for computer model emulation. By stochastically imputing the latent layers, our approach transforms a DGP into a linked GP: a novel emulator developed for systems of linked computer models. This transformation permits an efficient DGP training procedure that only involves optimizations of conventional GPs. In addition, predictions from DGP emulators can be made in a fast and analytically tractable manner by naturally utilizing the closed form predictive means and variances of linked GP emulators. We demonstrate the method in a series of synthetic examples and empirical applications, and show that it is a competitive candidate for DGP surrogate inference, combining efficiency that is comparable to doubly stochastic variational inference and uncertainty quantification that is comparable to the fully-Bayesian approach. A $ exttt{Python}$ package $ exttt{dgpsi}$ implementing the method is also produced and available at https://github.com/mingdeyu/DGP.

研究の動機と目的

• コンピュータモデルにおける深層ガウス過程（DGP）エミュレーションの計算的・推論的課題に対処すること。
• 最適化に基づく手法（例：DSVI）の高速性と、完全ベイズ的手法（MCMC）の不確実性評価の正確性の両方をバランスすること。
• 潜在層の補完を通じてDGPを連結ガウス過程に再定式化することにより、効率的かつ解析的扱い可能なDGP予測を可能にすること。
• 入力に接続された構造を含む柔軟なDGPアーキテクチャをサポートし、エミュレーション性能を向上させること。
• 多忠実度、多出力、ハイブリッドエミュレーションのシナリオに一般に適用可能な拡張性のある推論フレームワークの開発

提案手法

• 楕円スライスサンプリング（ESS）を用いてDGPの潜在層を確率的に補完し、DGPを連結ガウス過程に変換する。
• DGPの学習を、従来のガウス過程の最適化問題の連鎖に再定式化することで、標準的なガウス過程ソルバーを用いた効率的推論を可能にする。
• 連結ガウス過程の閉形式の予測平均および分散を活用し、高速かつ解析的なDGP予測を実現する。
• 反復的に潜在層の補完を改善し、ハイパーパrameterを最適化するため、確率的期待最大化（SEM）フレームワークを適用する。
• 非軸対称かつ入力に接続された構造を含む一般のDGP階層を、連結ガウス過程の定式化を通じてサポートする。
• オープンソースのPythonパッケージdgpsiを介して既存のガウス過程ライブラリと統合し、多様なエミュレーションタスクへの展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DGPの潜在層に対する確率的補完は、不確実性評価の正確性を保ちつつ、効率的で最適化に基づく学習を可能にするか？
• RQ2 DSVI や完全ベイズ的手法と比較して、SIの性能は予測精度および計算コストの観点でどの程度優れているか？
• RQ3 DGP階層に入力に接続された構造を組み込むことで、SIフレームワーク下でのエミュレーション性能はどの程度向上するか？
• RQ4 DGPの連結ガウス過程への再定式化は、従来のDGP推論手法と比較して、より広範なカーネル関数および階層構造のサポートを可能にするか？
• RQ5 SI手法は、多忠実度および多出力システムを含む多様なエミュレーションシナリオにおいてスケーラブルかつ汎用的か？

主な発見

• SI手法は、完全ベイズ的手法と同等の予測精度を達成し、DSVIと同等の計算効率を示し、合成的および実データの例においてNRMSEPが低くなる。
• 入力に接続された構造を備えた3層DGPエミュレータは、SIを用いて学習した他の構成と比較して、精度、不確実性評価、計算時間のバランスが優れている。
• SIに基づくエミュレータは、オプション・グリークスを求めるヘストンPDEのような複雑な問題においても、入力空間全体にわたり良好な予測標準偏差を示す。
• 連結ガウス過程理論から導かれる閉形式の式を用いることで、解析的扱い可能な予測が可能となり、高価なサンプリングや近似を回避できる。
• 実験的結果から、2層または3層のDGPエミュレータをSIで学習させた場合、層数が増加しても精度と計算コストの最適なトレードオフが達成される。
• オープンソースのdgpsiパッケージにより、確率的モデルへの拡張を追加の尤度層を用いて展開するなど、多様なエミュレーションタスクへのSIの展開が可能になる。