[論文レビュー] RobustGaSP: Robust Gaussian Stochastic Process Emulation in R

Mengyang Gu, Jesús Palomo+1 more|arXiv (Cornell University)|Jan 5, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用数 15

ひとこと要約

RobustGaSP は、相関パラメータが 0 や 1 に近い場合の問題を回避するため、共同でロバストな事前分布を用いた周辺事後モード推定を採用する、R でのロバストなガウス確率過程（GaSP）エミュレータを提供する。この手法は、パrameter推定の安定性を高め、尤度推定（MLE）に基づく手法よりも予測精度を向上させ、追加計算コストなしに不活性な入力を自動特定可能である。

ABSTRACT

Gaussian stochastic process emulation is a powerful tool for approximating computationally intensive computer models. However, estimation of parameters in the GaSP emulator is a challenging task. No closed-form estimator is available and many numerical problems arise with standard estimates, e.g., the maximum likelihood estimator. In this package, we implement a marginal posterior mode estimator, for special priors and parameterizations, an estimation method that meets the robust parameter estimation criteria discussed in \cite{Gu2018robustness}; mathematical reasons are provided therein to explain why robust parameter estimation can greatly improve predictive performance of the emulator. In addition, inert inputs (inputs that almost have no effect on the variability of a function) can be identified from the marginal posterior mode estimation, at no extra computational cost. The package also implements the parallel partial Gaussian stochastic process (PP GaSP) emulator (\cite{gu2016parallel}) for the scenario where the computer model has multiple outputs on e.g. spatial-temporal coordinates. The package can be operated in a default mode, but also allows numerous user specifications, such as the capability of specifying trend functions and noise terms. Examples are studied herein to highlight the performance of the package in terms of out-of-sample prediction.}

研究の動機と目的

• 相関パラメータが 0 や 1 に近づくと生じる尤度推定（MLE）の不安定性に対処すること。
• 数学的安定性とより優れた予測性能を実現するロバストなパrameter推定手法の開発。
• 追加計算コストなしに、出力分散にほとんど影響を与えない（不活性な）入力の自動特定を可能にすること。
• 並列部分ガウス確率過程（PP GaSP）エミュレータを用いて、多出力コンピュータモデルを扱えるフレームワークの拡張。
• デフォルトでロバストな設定を備え、ユーザーがトレンド関数、ノイズ項、事前分布をカスタム可能である、計算効率的かつ拡張可能な R パッケージの提供。

提案手法

• 極端な相関値における数値的問題を回避するため、周辺事後モード推定に共同でロバストな事前分布を適用し、事後分布の安定化を図る。
• 計算効率の良い参考事前分布の近似を活用し、低記憶量の準ニュートン最適化法を用いて事後モードを効率的に計算する。
• 共同でロバストな事前分布を実装し、不重要とされる入力のパラメータを自然に 0 に収縮させる。これにより、事後モード解析による不活性入力の特定が可能になる。
• 複数の出力をモデル化する際、出力間で共通の共分散構造を用いる PP GaSP フレームワークを適用し、計算複雑度を低減する。
• トレンド関数、固定または推定可能な分散を有するノイズ項、柔軟な相関関数をユーザー定義可能とすることで、モデルの適応性を向上。
• モデルの妥当性と性能評価のため、LOO交差検証、標準化残差、QQプロットなどの診断ツールを統合。

実験結果

リサーチクエスチョン

• RQ1 ロバストなパrameter化と周辺事後モード推定を用いることで、MLE よりも顕著に予測精度が向上するか？
• RQ2 共同でロバストな事前分布の使用により、追加計算コストなしに安定した推定と不活性入力の自然な同定が可能か？
• RQ3 多出力コンピュータモデルにおいて、PP GaSP のアプローチは独立した GaSP エミュレータと比較して、予測精度と計算効率の点で優れているか？
• RQ4 特に相関推定値が 0 や 1 に近い場合に、ロバストなパrameter化が数値的不安定性をどの程度緩和できるか？
• RQ5 RobustGaSP パッケージは、中程度から大規模なサンプルサイズを有する実世界の応用において、既存の MLE に基づく GaSP パッケージの信頼性と効率性に優れた代替手段として機能できるか？

主な発見

• RobustGaSP 推定器は、小規模から中規模のサンプルサイズにおいて、MLE に基づく手法よりも顕著に優れた予測精度を示す。
• 問題となる相関値（0 と 1）において、事後密度が 0 に設定されており、数学的安定性が保証され、数値的特異性の回避が可能である。
• findInertInputs 関数は、モデルフィッティングの追加計算なしに、出力分散にほとんど影響を与えない入力を、単に事後モードを用いて正確に同定している。
• PP GaSP エミュレータは、k >> n の場合に計算複雑度を O(kn³) から O(max(n³, kn²)) に低減し、TITAN2D などの多出力モデルにおいて顕著な高速化を実現している。
• TITAN2D の事例研究では、PP GaSP は独立した GaSP よりもわずかに優れた RMSE とより正確な 95% 予測信用区間を達成しており、計算時間は著しく短縮されている。
• パッケージのデフォルト設定（共同でロバストな事前分布を含む）は、最小限のユーザー入力で安定的かつ効率的な GaSP エミュレーションソリューションを提供する。