[論文レビュー] GPfit: An R package for Gaussian Process Model Fitting using a New Optimization Algorithm

Blake MacDonald, Pritam Ranjan+1 more|May 3, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用数 40

ひとこと要約

この論文は、決定的コンピュータシミュレータにガウス過程（GP）モデルを適合させるために、計算的に効率的で安定した手法を提供するRパッケージGPfitを紹介している。空間相関関数の新しいパrameterizationと、複数の初期値を用いた勾配ベースの最適化アルゴリズムを採用しており、遺伝的アルゴリズムの手法よりも著しく高速化されるとともに、下限付きnuggetパrameterizationにより数値的安定性を維持している。mlegpパッケージとの比較による妥当性が確認されている。

ABSTRACT

Gaussian process (GP) models are commonly used statistical metamodels for emulating expensive computer simulators. Fitting a GP model can be numerically unstable if any pair of design points in the input space are close together. Ranjan, Haynes, and Karsten (2011) proposed a computationally stable approach for fitting GP models to deterministic computer simulators. They used a genetic algorithm based approach that is robust but computationally intensive for maximizing the likelihood. This paper implements a slightly modified version of the model proposed by Ranjan et al. (2011), as the new R package GPfit. A novel parameterization of the spatial correlation function and a new multi-start gradient based optimization algorithm yield optimization that is robust and typically faster than the genetic algorithm based approach. We present two examples with R codes to illustrate the usage of the main functions in GPfit. Several test functions are used for performance comparison with a popular R package mlegp. GPfit is a free software and distributed under the general public license, as part of the R software project (R Development Core Team 2012).

研究の動機と目的

• 入力設計点が互いに近接している場合に生じるGPモデル適合における数値的不安定性を解消すること。
• 既存のGP適合手法で一般的に用いられる遺伝的アルゴリズムに基づく尤度最適化の計算非効率性を克服すること。
• 決定的シミュレータにGPモデルを適合させるための、強固で高速かつ安定なmlegpなどの既存のRパッケージの代替手法を開発すること。
• 過剰な平滑化を防ぎつつ数値的安定性を保証する下限付きnuggetパrameterizationを実装すること。
• モデル適合、予測、可視化のための直感的な関数を備えたユーザーフレンドリーなRパッケージを提供すること。

提案手法

• 尤度最適化の安定性と効率性を向上させるために、空間相関関数の新しいパrameterizationを提案する。
• 遺伝的アルゴリズムと比較して収束を加速し、計算時間を短縮する複数の初期値を用いた勾配ベースの最適化アルゴリズムを採用する。
• 空間を均等にカバーする設計に基づくクラスタリング手法を用いて、勾配探索のための多様な初期値を生成し、グローバル収束性を向上させる。
• 過剰な平滑化を防ぎ、モデルの正確性を維持するためにnuggetパrameterに下限制約を導入する。
• 相関行列の近似特異性に対処できる、強固な尤度最大化フレームワークと最適化を統合する。
• 1次元または2次元グリッド上でモデル適合、予測、可視化が可能な、GPfit()、predict()、plot()などのR関数のスイートを提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース最適化アルゴリズムは、決定的コンピュータ実験におけるGPモデル適合において、遺伝的アルゴリズムを上回る速度と頑健性を示せるか？
• RQ2 提案された相関関数パrameterizationは、尤度最適化中の数値的安定性と収束性をどのように向上させるか？
• RQ3 下限付きnuggetパrameterの影響は、GPモデルの予測精度と過剰な平滑化にどのような影響を及ぼすか？
• RQ4 広く使われているmlegp Rパッケージと比較して、GPfitの性能と正確性はいかがなっているか？
• RQ5 クラスタリングに基づく初期化を用いた複数の開始点戦略は、最適化プロセスの信頼性をどの程度向上させるか？

主な発見

• GPfitにおける複数の開始点を用いた勾配ベース最適化は、ranjanNuggetで用いられる遺伝的アルゴリズムよりも著しく高速であり、収束の信頼性は同等またはそれ以上である。
• 新規の相関関数パrameterizationにより、尤度最適化の効率性と安定性が向上し、高次元または密集した入力設計における数値的問題が低減された。
• 下限付きnuggetアプローチは、過剰な平滑化を効果的に防止し、シミュレータ出力との整合性を保ちながら数値的安定性を維持した。
• mlegpパッケージとの実証的比較により、GPfitは計算時間が短く、予測精度が同等または優れていることが示された。
• nugget制約により、近似的に特異な相関行列に対しても安定した適合が可能となり、入力空間で点が近接している場合でも信頼性のあるモデル適合が実現した。
• GPfitの可視化関数（例：plot()）は、正規グリッド上での予測値と平均二乗誤差の表面図および等高線図を正確に描画でき、カラーパレットのカスタマイズが可能である。