[論文レビュー] Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities

Loïc Brevault, Mathieu Balesdent+1 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 55被引用数 5

ひとこと要約

本稿では、低・高精度モデル間の関係が線形、非線形、相関の変動を示す場合にも対応可能なガウス過程に基づくマルチフィidelityモデリング手法について包括的な比較を提示している。AR1、LMC、NARGP、DGP手法を、解析的および航空宇宙工学分野の問題に対して評価した結果、非線形な関係が強い場合には非線形手法（DGPなど）が線形手法を上回るが、高精度データが限られている場合や高次元問題では線形手法がより高いロバスト性を示すことが明らかになった。

ABSTRACT

The design process of complex systems such as new configurations of aircraft or launch vehicles is usually decomposed in different phases which are characterized for instance by the depth of the analyses in terms of number of design variables and fidelity of the physical models. At each phase, the designers have to compose with accurate but computationally intensive models as well as cheap but inaccurate models. Multi-fidelity modeling is a way to merge different fidelity models to provide engineers with accurate results with a limited computational cost. Within the context of multi-fidelity modeling, approaches relying on Gaussian Processes emerge as popular techniques to fuse information between the different fidelity models. The relationship between the fidelity models is a key aspect in multi-fidelity modeling. This paper provides an overview of Gaussian process-based multi-fidelity modeling techniques for variable relationship between the fidelity models (e.g., linearity, non-linearity, variable correlation). Each technique is described within a unified framework and the links between the different techniques are highlighted. All the approaches are numerically compared on a series of analytical test cases and four aerospace related engineering problems in order to assess their benefits and disadvantages with respect to the problem characteristics.

研究の動機と目的

• 低・高精度モデル間の関係が線形、非線形、変動相関のいずれであるかにかかわらず、ガウス過程ベースのマルチフィidelity手法を評価・比較すること。
• 異なるマルチフィidelityモデリング手法間で、予測精度、不確実性の定量化、計算コストのトレードオフを評価すること。
• 高精度評価が高価であり、事前にフィidelity関係が不明な工学的設計問題において、最も適した手法を特定すること。
• 次元数と高精度サンプル数の制限がモデルの性能とロバスト性に与える影響を調査すること。
• 非線形性、相関、データの可用性といった問題の特性に応じて、実務家が適切なマルチフィidelity手法を選択できるようにガイドすること。

提案手法

• AR1、LMC、NARGP、DGPを、変動するフィidelity関係を扱えるガウス過程ベースのマルチフィidelityモデルとして統一的なフレームワークで記述する。
• 共クリギングおよび階層的GP構造を用いて低・高精度モデル出力を統合し、共通またはネストされた共分散関数によりフィidelity間のマッピングをモデル化する。
• ベイズ推論を用いて周辺尤度の最大化によりハイパーパrameterを推定し、不確実性を伴う予測を可能にする。
• 4つの航空宇宙および4つの解析的テストケースを用い、平均負対数尤度（MNLL）、平均二乗誤差（MSE）、予測精度といった指標でモデルを比較する。
• NARGPのネスト型および非ネスト型のトレーニング戦略を評価し、データ構造への感受性を検証する。
• 次元数とサンプルサイズがモデル性能に与える影響を分析し、特に高次元設計空間における次元の呪いの影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 線形手法（AR1、LMC）と非線形手法（NARGP、DGP）のマルチフィidelity GPモデルは、多様なテスト問題において予測精度および不確実性定量化の観点でどのように比較されるか？
• RQ2 高精度サンプル数が限られている場合、非線形マルチフィidelityモデルは線形モデルに比べて性能にどのような影響を受けるか？
• RQ3 入力空間の次元数は、線形対非線形マルチフィidelityモデリング手法の相対的性能にどのように影響するか？
• RQ4 高精度モデルがより正確であるという情報の非対称性がある状況で、AR1とLMCを用いた共クリギングのどちらがより優れた性能を示すか？
• RQ5 NARGPのトレーニング戦略（ネスト型対非ネスト型）の選択が、実世界の工学的応用において性能にどの程度の影響を及ぼすか？

主な発見

• フィidelity間の関係が強く非線形的であるか、相関が弱い場合には、非線形手法（DGP、NARGP）が線形手法（AR1、LMC）を著しく上回る。
• 高精度サンプル数が限られている場合には、非線形手法に比べて線形手法（AR1、LMC）が、より低い複雑性と少ないハイパーパrameterの推定により優れた性能を示す傾向にある。
• DGPは一貫して最高の尤度（MNLL）と不確実性定量化を達成しており、特に複雑な非線形関係のモデリングにおいて優れた性能を発揮する。
• 高次元問題では、高精度サンプルを追加しても性能向上の効果が薄れることが示され、次元の呪いが、データ増加による利点を制限していることが明らかになった。
• 線形手法は、高次元テストケースにおいても、高精度データがスパースであっても、単純な構造のおかげでより強いロバスト性と一般化性能を示す。
• 万能な最良手法は存在しない。手法の選択は、問題の非線形性、相関強度、および利用可能な高精度データに依存するため、問題の特性に応じた手法選定の重要性が強調される。