[論文レビュー] Comparison of surrogate-based uncertainty quantification methods for computationally expensive simulators

Nathan Owen, Peter Challenor+2 more|arXiv (Cornell University)|Nov 3, 2015

Probabilistic and Robust Engineering Design参考文献 50被引用数 6

ひとこと要約

この論文は、計算的に高価なシミュレータにおける不確実性の定量化のための多項式 chaotic (PC) とガウス過程 (GP) エミュレーションを比較している。2つの産業用シミュレータ（adJULES と VEGACONTROL）とさまざまな実験的設計を用いて、非線形な状況では GP エミュレータが PC よりも一般に優れていることが判明した。特に小規模から中規模の設計サイズの場合に顕著であり、PC は計算コストが低く、単純なケースでは競争力がある。

ABSTRACT

Polynomial chaos and Gaussian process emulation are methods for surrogate-based uncertainty quantification, and have been developed independently in their respective communities over the last 25 years. Despite tackling similar problems in the field, to our knowledge there has yet to be a critical comparison of the two approaches in the literature. We begin by providing a detailed description of polynomial chaos and Gaussian process approaches for building a surrogate model of a black-box function. The accuracy of each surrogate method is then tested and compared for two simulators used in industry: a land-surface model (adJULES) and a launch vehicle controller (VEGACONTROL). We analyse surrogates built on experimental designs of various size and type to investigate their performance in a range of modelling scenarios. Specifically, polynomial chaos and Gaussian process surrogates are built on Sobol sequence and tensor grid designs. Their accuracy is measured by their ability to estimate the mean, standard deviation, exceedance probabilities and probability density function of the simulator output, as well as a root mean square error metric, based on an independent validation design. We find that one method does not unanimously outperform the other, but advantages can be gained in some cases, such that the preferred method depends on the modelling goals of the practitioner. Our conclusions are likely to depend somewhat on the modelling choices for the surrogates as well as the design strategy. We hope that this work will spark future comparisons of the two methods in their more advanced formulations and for different sampling strategies.

研究の動機と目的

• 補間ベースの不確実性の定量化のための多項式 chaotic とガウス過程エミュレーション手法の、批判的で直接的な比較を提供すること。
• 異なるシミュレータの種類、設計戦略、および実験的設計サイズの下での両手法の性能を評価すること。
• 各補間モデルが、平均、標準偏差、超過確率、確率密度関数といった重要な不確実性指標をどの程度正確に推定できるかを評価すること。
• 特に計算コストと予測不確実性の可用性という観点から、各手法の実用的利点を検討すること。
• モデリングの目的と問題の特性に基づいて、実務家が最も適切な補間手法を選択できるように支援すること。

提案手法

• シミュレータの実行から得られる非挿入的回帰ベースの係数推定を用いて、多項式 chaotic 補間モデルを構築する。
• ベイズ推論を用いて、平方指数および Matérn 共分散関数を用いたガウス過程エミュレータを構築する。
• Sobol 列列とサイズが異なるテンソルグリッドを用いた実験的設計から得られるデータで、両補間モデルを学習する。
• 誤差指標と分布推定の妥当性を検証するために、独立した 1000 点のラテンハイパーボリューム設計を用いる。
• 二乗平均平方誤差、平均および標準偏差の推定誤差、超過確率の正確さ、確率密度関数の推定の忠実度を用いて精度を測定する。
• GP の予測に 95% 信頼区間を含め、不確実性の定量化能力を評価する。これは PC には存在しない特徴である。

実験結果

リサーチクエスチョン

• RQ1 高価なシミュレータにおいて、多項式 chaotic とガウス過程エミュレータは、平均、標準偏差、超過確率の推定において、どの程度の精度を示すか？
• RQ2 非線形なシミュレータ応答において、特に小規模から中規模の設計サイズを用いる場合、どちらの補間手法がより優れた性能を示すか？
• RQ3 実験的設計の選択（Sobol 列列 vs. テンソルグリッド）は、各補間手法の性能にどのように影響するか？
• RQ4 不確実性の定量化と計算コストの観点から、どちらの手法が明確に優位になる状況はどのようなものか？
• RQ5 多項式の次数や共分散関数の選択といったモデリングの選択に、結果がどの程度依存するか？

主な発見

• 非線形な2次元トイ関数において、ガウス過程エミュレータは多項式 chaotic 補間モデルよりも、平均、標準偏差、超過確率の推定において一貫して優れた性能を示した。
• adJULES および VEGACONTROL シミュレータにおいて、GP エミュレータはほとんどの設計サイズとタイプで優れた精度を示し、特に複雑な非線形挙動を捉える能力に優れていた。
• 多項式 chaotic は、単純なケースや低次元のケースではまごうべくない性能を示し、特に大きな設計サイズでは優れた結果を出したが、非線形性や二峰性の出力分布に対しては苦戦した。
• テンソルグリッド設計では、GP と PC の性能差が著しく縮まり、一部のケースで PC にわずかな優位性が見られたが、GP はより安定していた。
• ガウス過程エミュレータは、95% 信頼区間を内蔵しており、予測不確実性を提供するという明確な利点がある。これは多項式 chaotic には存在しない特徴であり、分布の不確実性推定ができない。
• GP エミュレータの利点にもかかわらず、多項式 chaotic は計算コストが低く、不確実性の定量化が主な目的でない場合には好ましい場合がある。