[論文レビュー] Robust Gaussian Stochastic Process Emulation

Mengyang Gu, Xiaojing Wang+1 more|arXiv (Cornell University)|Aug 16, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用数 4

ひとこと要約

本稿は、特に非等方的相関構造において、客観的事前分布と事後モード推定を用いたガウス過程（GaSP）エミュレータのロバストなパrameter推定を提案する。理論的および数値的証拠により、Matérn、指数型、有理二次、球状の共分散関数（nuggetパラメータを含む場合を含む）において、一般的に用いられる代替手法よりも著しく安定性と精度が向上するパrameterizationが同定された。

ABSTRACT

We consider estimation of the parameters of a Gaussian Stochastic Process (GaSP), in the context of emulation (approximation) of computer models for which the outcomes are real-valued scalars. The main focus is on estimation of the GaSP parameters through various generalized maximum likelihood methods, mostly involving finding posterior modes; this is because full Bayesian analysis in computer model emulation is typically prohibitively expensive. The posterior modes that are studied arise from objective priors, such as the reference prior. These priors have been studied in the literature for the situation of an isotropic covariance function or under the assumption of separability in the design of inputs for model runs used in the GaSP construction. In this paper, we consider more general designs (e.g., a Latin Hypercube Design) with a class of commonly used anisotropic correlation functions, which can be written as a product of isotropic correlation functions, each having an unknown range parameter and a fixed roughness parameter. We discuss properties of the objective priors and marginal likelihoods for the parameters of the GaSP and establish the posterior propriety of the GaSP parameters, but our main focus is to demonstrate that certain parameterizations result in more robust estimation of the GaSP parameters than others, and that some parameterizations that are in common use should clearly be avoided. These results are applicable to many frequently used covariance functions, e.g., power exponential, Mat{é}rn, rational quadratic and spherical covariance. We also generalize the results to the GaSP model with a nugget parameter. Both theoretical and numerical evidence is presented concerning the performance of the studied procedures.

研究の動機と目的

• コンピュータモデルエミュレーションにおけるGaSPパrameterの最尤推定の不安定性と一貫性の欠如を解消する。
• ラテンハイパーボリューム設計などの一般入力設計下で、非等方的相関関数を有するGaSPのロバストなパrameter推定手法を開発する。
• 非等方的、積構造を有する相関関数におけるGaSPパrameterに対して、客観的事前分布（例：リファレンス事前分布）の事後分布の適正性および理論的性質を確立する。
• 数値的不安定性や予測性能の悪化を引き起こすパrameterizationを同定し、排除する。
• nuggetパラメータを含むGaSPモデルに一般化し、共分散行列の逆行列計算の数値的安定性を向上させつつ、予測精度を損なわないようにする。

提案手法

• 非等方的相関関数における範囲パラメータおよび粗さパラメータに対して、リファレンス事前分布を客観的事前分布として用いる。
• フルベイジアン推論の代わりに、計算コストを低減するため、事後モードの最大化によるGaSPパラメータ推定を実施する。
• 未知の範囲パラメータと固定された粗さパラメータを有する、等方的相関関数の積構造を適用する。
• さまざまな漸近的状態（例：範囲パラメータが無限大またはゼロに近づく場合）における周辺尤度および事後分布の適正性を導出し、分析する。
• 共分散行列の逆行列計算および数値的条件数の改善のため、nuggetパラメータをフレームワークに統合する。
• 理論的分析と数値実験を用いて、異なるパrameterizationおよび共分散族における推定性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 非等方的相関関数の異なるパrameterizationは、コンピュータモデルエミュレーションにおけるGaSPパラメータ推定の安定性と精度にどのように影響するか？
• RQ2 非等方的、積構造を有するGaSPモデルにおけるリファレンス事前分布の理論的性質（特に事後分布の適正性）は何か？
• RQ3 客観的事前分布を用いた事後モード推定は、標準的な最尤推定やヒューリスティック手法に比べ、よりロバストかつ正確なGaSPエミュレータを実現できるか？
• RQ4 nuggetパラメータの導入は、さまざまなパrameterization下でのGaSPエミュレータのロバスト性および予測性能にどのように影響するか？
• RQ5 GaSPエミュレーションで一般的に用いられるパrameterizationのうち、数値的不安定性や性能の悪化を引き起こすため避けるべきものは何か？

主な発見

• リファレンス事前分布下で、Matérn、指数型、有理二次、球状の共分散関数に対して、GaSPパラメータの事後分布の適正性が確立された。
• 範囲パラメータを相関関数の粗さパラメータと同じスケールで扱うパrameterizationは、数値的不安定性を引き起こし、避けるべきである。
• 特に範囲と粗さパラメータを適切に分離するパrameterizationは、標準的手法に比べて著しくよりロバストな推定を実現する。
• 数値実験の結果、本手法はDiceKrigingおよびDiceOptim Rパッケージに実装された既存手法と比較して、予測誤差を低減することが示された。
• 高次元入力空間および非等方的設計（例：ラテンハイパーボリューム設計）下でも、本手法はロバスト性を維持する。
• nuggetパラメータの追加は数値的安定性を向上させるが、パrameterizationの選択が予測精度の低下を招く可能性があるため、依然として重要である。