[論文レビュー] Emulating computer models with step-discontinuous outputs using Gaussian processes

Hossein Mohammadi, Peter Challenor+2 more|arXiv (Cornell University)|Mar 5, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 5

ひとこと要約

本稿では、トゥーリングポイントや分岐点を示すシステムに共通する段階的不連続出力をもつコンピュータモデルをエミュレートするための新しいガウス過程（GP）手法を提案する。特化したカーネル（ニューラルネットワークおよびギブズ）と入力空間のワーピングを用いる。主な貢献は、マトérn カーネルや平方指数カーネルを用いた標準的なGPと比較して、これらのアプローチが不連続性を著しく優れた性能で捉えられることである。特に、アークタンジェント長尺度とアークタンジェント変換を用いたギブズカーネルが、RMSE性能で最も優れた結果を示した。

ABSTRACT

In many real-world applications we are interested in approximating costly functions that are analytically unknown, e.g. complex computer codes. An emulator provides a fast approximation of such functions relying on a limited number of evaluations. Gaussian processes (GPs) are commonplace emulators due to their statistical properties such as the ability to estimate their own uncertainty. GPs are essentially developed to fit smooth, continuous functions. However, the assumptions of continuity and smoothness is unwarranted in many situations. For example, in computer models where bifurcations or tipping points occur, the outputs can be discontinuous. This work examines the capacity of GPs for emulating step-discontinuous functions. Several approaches are proposed for this purpose. Two special covariance functions/kernels are adapted with the ability to model discontinuities. They are the neural network and Gibbs kernels whose properties are demonstrated using several examples. Another approach, which is called warping, is to transform the input space into a new space where a GP with a standard kernel, such as the Matern family, is able to predict the function well. The transformation is perform by a parametric map whose parameters are estimated by maximum likelihood. The results show that the proposed approaches have superior performance to GPs with standard kernels in capturing sharp jumps in the true function.

研究の動機と目的

• 複雑なコンピュータシミュレーションに共通する不連続出力のモデル化において、標準的なガウス過程の限界を解決すること。
• 動的システムにおける分岐やトゥーリングポイントに起因する段階的不連続性を正確に捉えるGPベースのエミュレータを開発すること。
• 不連続境界の検出を別途必要とするパーティショニングベースの手法に対する代替手法を提案すること。
• 高次元の不連続関数のエミュレーションにおいて、特化したカーネルとワーピング技術の性能を、標準的なGPカーネルと比較して評価すること。

提案手法

• 非ステーションナリティまたは非滑らかさを持つ構造を介して不連続性をモデル化できるように、ニューラルネットワークカーネルおよびギブズカーネルを特化した共分散関数として適応する。
• パラメトリックなシグモイド変換（例：ロジスティック、アークタンジェント）を用いた入力空間のワーピングを導入し、標準的なカーネルが不連続出力を効果的にモデル化できる空間に変換する。
• 最大尤度推定（MLE）を用いて、ワーピング変換のパラメータとGPハイパーパrameterを同時に推定する。
• 変換された空間で平方指数カーネルを用い、標準的なGPの条件付き分布を用いて予測平均および予測分散を導出する。
• 入力空間に変換を適用し、その結果得られる変換空間におけるカーネルが、出力のステップ型ジャンプを捉えられるようにする。
• 1000個のテストセットを用いたルート平均二乗誤差（RMSE）を評価指標とし、空間充填設計を用いた10dの20個の独立したトレーニングセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークカーネルやギブズカーネルといった特化したカーネルは、コンピュータシミュレーションにおける段階的不連続関数を効果的にモデル化できるか？
• RQ2 シグモイド変換を用いた入力空間のワーピングは、標準的なカーネルと比較して、不連続出力のGPエミュレーションをどのように改善するか？
• RQ3 ロジスティック関数やアークタンジェント関数といった異なるシグモイド関数は、ギブズカーネルのワーピングマップや長尺度関数として、相対的にどの程度の性能を示すか？
• RQ4 ワーピングは、TGP やボロノイベースのエミュレータなど、パーティショニングベースの手法で必要とされる別個の不連続境界検出を不要にすることができるか？

主な発見

• 2Dおよび5Dの両方の実験において、ニューラルネットワークカーネルとアークタンジェント長尺度を用いたギブズカーネルが、最も低いRMSEを達成し、標準カーネルを上回った。
• アークタンジェント変換を用いたワーピングアプローチも、最良のカーネルベース手法とほぼ同等の性能を示した。
• 平方指数カーネルとマトérn 3/2カーネルは、滑らかさの仮定により、著しく高いRMSEを示し、最も悪い性能を示した。
• シグモイド関数の中で、ロジスティック変換が最も高いRMSEを示したが、アークタンジェント関数は一貫して最も正確な予測を提供した。
• アークタンジェント長尺度を用いたギブズカーネルと、アークタンジェントマップを用いたワーピングの両方が、最良の平均RMSEを達成した。これは、これらが段階的不連続性のモデル化に適していることを示している。
• 結果から、最大尤度推定を用いてワーピングパラメータとGPハイパーパrameterを同時に推定することで、事前の不連続性検出を要せず、効果的なエミュレーションが可能であることが示された。