[論文レビュー] Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation

Xiong Lyu, Mickaël Binois+1 more|arXiv (Cornell University)|Jul 18, 2018

Gaussian Processes and Bayesian Inference参考文献 34被引用数 10

ひとこと要約

本稿は、ノイズが伴うレベル集合を推定するためのガウス過程メタモデルと逐次的設計戦略を評価する。具体的には、ブラックボックス関数がしきい値を超える領域（ノイズが伴う）を対象とする。重い尾を持つノイズと低SNRの下で、t-GP、スルーデントtプロセス、分類GPs、および標準GPsを比較し、低次元ではt-GPとtMSE設計が他を上回ることを明らかにした。一方、高次元またはノイズ分布が誤って指定された状況ではICUが最良の性能を示した。

ABSTRACT

We consider the problem of learning the level set for which a noisy black-box function exceeds a given threshold. To efficiently reconstruct the level set, we investigate Gaussian process (GP) metamodels. Our focus is on strongly stochastic samplers, in particular with heavy-tailed simulation noise and low signal-to-noise ratio. To guard against noise misspecification, we assess the performance of three variants: (i) GPs with Student-$t$ observations; (ii) Student-$t$ processes (TPs); and (iii) classification GPs modeling the sign of the response. In conjunction with these metamodels, we analyze several acquisition functions for guiding the sequential experimental designs, extending existing stepwise uncertainty reduction criteria to the stochastic contour-finding context. This also motivates our development of (approximate) updating formulas to efficiently compute such acquisition functions. Our schemes are benchmarked by using a variety of synthetic experiments in 1--6 dimensions. We also consider an application of level set estimation for determining the optimal exercise policy of Bermudan options in finance.

研究の動機と目的

• 高価なブラックボックス関数において一般的に見られるノイズが伴い、重い尾を持つシミュレーション出力が存在する状況下でのレベル集合推定の課題に対処すること。
• ノイズ分布が誤って指定された状況下でも、t-GP、スルーデントtプロセス、分類GPsといった代替メタモデルのロバスト性と性能を評価すること。
• 制限された予算のもとで等高線抽出問題において効率的なサンプリングを実現するための逐次的設計ヒューリスティクス（tMSE、MCU、cSUR、ICU）を比較すること。
• 合成的な1〜6次元問題と実世界のバーミューダン・オプション価格設定応用を用いて、これらの手法をベンチマークすること。
• 次元数、ノイズ構造、計算コストに基づいて、メタモデルおよび設計選択に関する実用的勧告を提示すること。

提案手法

• 標準GPs、t-GP（重い尾のノイズに適応）、および応答の符号をモデル化する分類GPsを含む3つのバリエーションを持つガウス過程（GP）メタモデルを用いる。
• 外れ値やノイズの誤って指定された状況に対処するための非ガウス的代替手法として、スルーデントtプロセス（TPs）を導入する。
• 期待改善と不確実性低減に基づく獲得関数を採用し、計算効率を高めるために近似的な更新式を用いる。
• tMSE（標的平均二乗誤差）とICU（情報理論的基準）を逐次的設計ヒューリスティクスとして採用し、アクティブサンプリングを誘導する。
• レベル集合推定における分類誤差を測る損失関数 L(f, f̂) = ∫𝕀(sign f̂(x) ≠ sign f(x)) dμ を用いる。
• バーミューダン・オプション評価におけるタイミング価値 f(x;t) のノイズを含むサンプルを生成するために、確率的制御フレームワークにおける後退帰納法を適用する。

実験結果

リサーチクエスチョン

• RQ1 重い尾を持つノイズ下で、t-GP、TP、分類GPsは標準GPsに比べてレベル集合推定の精度がどの程度向上するか？
• RQ2 tMSE、MCU、cSUR、ICUの中から、計算コストを最小限に抑えつつ、最も正確なレベル集合再構築を実現する逐次的設計ヒューリスティクスはどれか？
• RQ3 メタモデルおよび設計の性能は次元数や信号対雑音比（SNR）に依存するか？
• RQ4 特に低次元設定において、より複雑な基準（ICU）に匹敵する性能を発揮できる単純なヒューリスティクス（tMSE）は存在するか？
• RQ5 ノイズが本質的かつ高価なシミュレーションを要する実世界の応用、例えばバーミューダン・オプション価格設定において、これらの手法はどの程度の性能を示すか？

主な発見

• t-GPは標準GPsを常に上回り、特に重い尾を持つノイズ下では顕著な性能向上を示す。
• tMSE設計ヒューリスティクスは低次元問題において高い精度を達成し、計算コストを最小限に抑え、この領域ではICUのようなより複雑な基準を上回る。
• ICUは高次元またはノイズ分布が誤って指定された状況、特にSNRが低い場合に最も優れた性能を示す。
• 分類GPsは低SNR設定で効果を発揮するが、その不確実性帯は広く、信頼性の低い推定を示している。
• t-GPと標準GPsはTPと分類GPsよりも狭い信用区間を生成しており、より優れた不確実性評価を示している。
• 3次元バーミューダン・マックス・コール・オプションのケースでは、R=20、n*=100の条件下で、t-GPにtMSEを適用した場合、ペイオフは11.175（SD 0.020）となり、最良のICU手法（11.178）に非常に近い性能を発揮し、高い効率性を示した。