[論文レビュー] Numerical studies of the metamodel fitting and validation processes

Bertrand Iooss, Loïc Boussouf+2 more|arXiv (Cornell University)|Jan 7, 2010

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用数 60

ひとこと要約

本稿では、計算コストが高いために、コンピュータ実験におけるガウス過程メタモデル化の最適設計戦略を提案する。初期の空間均等配置設計と逐次的検証に焦点を当て、ラテンハイパーリンクサンプリングにおけるラップアラウンド不恰好の最小化がメタモデルの予測性を向上させることを示し、未探索領域に重点的に配置することで必要なテスト点数を削減する逐次的検証設計を導入。これは特に核安全シミュレーションのような高次元問題において、ランダムサンプリングを上回る性能を発揮する。

ABSTRACT

Complex computer codes, for instance simulating physical phenomena, are often too time expensive to be directly used to perform uncertainty, sensitivity, optimization and robustness analyses. A widely accepted method to circumvent this problem consists in replacing cpu time expensive computer models by cpu inexpensive mathematical functions, called metamodels. In this paper, we focus on the Gaussian process metamodel and two essential steps of its definition phase. First, the initial design of the computer code input variables (which allows to fit the metamodel) has to honor adequate space filling properties. We adopt a numerical approach to compare the performance of different types of space filling designs, in the class of the optimal Latin hypercube samples, in terms of the predictivity of the subsequent fitted metamodel. We conclude that such samples with minimal wrap-around discrepancy are particularly well-suited for the Gaussian process metamodel fitting. Second, the metamodel validation process consists in evaluating the metamodel predictivity with respect to the initial computer code. We propose and test an algorithm which optimizes the distance between the validation points and the metamodel learning points in order to estimate the true metamodel predictivity with a minimum number of validation points. Comparisons with classical validation algorithms and application to a nuclear safety computer code show the relevance of this new sequential validation design.

研究の動機と目的

• 計算コストが高いため、ガウス過程メタモデルをフィッティングする際の最良の初期設計を特定すること。
• 追加のシミュレーションを最小限に抑えて、メタモデルの正確な検証に取り組むこと。
• 標準の検証手法が失敗する高次元入力空間における予測性推定を改善すること。
• 必要なテスト点数を最小限に抑えることで、メタモデル検証における不確実性を低減すること。
• 古典的なモンテカルロ法や1点除外法を上回る、強固な逐次的検証戦略を開発すること。

提案手法

• ガウス過程（Gp）モデリングに線形回帰項と一般化指数関数的共分散関数を適用する。
• 空間均等性を向上させるために、最小ラップアラウンドL²不恰好を持つ最適ラテンハイパーリンクサンプリング（LHS）を用いる。
• 未探索領域に注目し、訓練点からの距離を最大化するようにテスト点を選択する逐次的検証設計アルゴリズムを適用する。
• 係数 $ Q_2 $ を用いてメタモデルの予測性を評価し、逐次的およびランダムなテスト設計を比較する。
• 検証精度のベースラインを求めるために、1000点の参照テストセットを用いる。
• 解析的関数および53の入力を有する実世界の核安全コード（CATHARE2）を用いた数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 最適LHSのバリエーションの中から、どの初期設計がガウス過程メタモデルの予測性を最も高めるか？
• RQ2 逐次的検証設計は、古典的なモンテカルロ法や1点除外法と比較して、正確性と効率性の面でどのように異なるか？
• RQ3 高次元設定において、メタモデルの予測性推定を信頼できるものとするために必要な最小のテスト点数はどの程度か？
• RQ4 初期設計におけるラップアラウンド不恰好の最小化が、Gpメタモデルの性能を顕著に向上させるか？
• RQ5 特に高次元問題において、ランダムサンプリングと比較して、逐次的検証設計は $ Q_2 $ 評価の分散とバイアスを低減するか？

主な発見

• 最小ラップアラウンド不恰好を持つ最適ラテンハイパーリンクサンプルは、ガウス過程メタモデルの予測性を顕著に向上させる。
• 核安全コード（CATHARE2）では、逐次的検証設計が $ N_{ ext{test}} ightarrow 40 $ で正確な $ Q_2 $ 評価を達成するが、ランダムサンプリングは高い分散と不安定性を示す。
• 解析的関数の場合は、逐次的設計が $ N_{ ext{test}} ightarrow 25 $ で信頼性の高い $ Q_2 $ 評価を提供し、粗いモンテカルロサンプリングを上回る。
• 古典的なモンテカルロテストサンプリングは、高次元（$ d = 53 $）であるため、$ Q_2 $ 評価が極めて変動し、しばしば誤解を招く結果をもたらす。
• 訓練サンプルサイズが小さい場合、1点除外法の検証はメタモデルの予測性を低く見積もる。
• 提案された逐次的検証設計は、未探索領域に重点的にテスト点を配置することで、特に高次元問題において推定誤差と不確実性を低減する。