[論文レビュー] Adaptive surrogate models for parametric studies

Jan N. Fuhg|arXiv (Cornell University)|May 12, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 167被引用数 6

ひとこと要約

本修士論文は、パrametricな研究におけるKrigingに基づくスレーブモデルにおける適応的サンプリング手法の包括的評価を提示し、多忠実度Krigingおよびカオス的ダイナミクスの二値分類のための新規手法を導入している。適応的サンプリングが、高い精度を維持しつつ必要なサンプル数を顕著に削減できることを示しており、Duffing振動子におけるカオス的運動の分類において、新規のMIVor手法が既存手法を上回ることを確認した。

ABSTRACT

The computational effort for the evaluation of numerical simulations based on e.g. the finite-element method is high. Metamodels can be utilized to create a low-cost alternative. However the number of required samples for the creation of a sufficient metamodel should be kept low, which can be achieved by using adaptive sampling techniques. In this Master thesis adaptive sampling techniques are investigated for their use in creating metamodels with the Kriging technique, which interpolates values by a Gaussian process governed by prior covariances. The Kriging framework with extension to multifidelity problems is presented and utilized to compare adaptive sampling techniques found in the literature for benchmark problems as well as applications for contact mechanics. This thesis offers the first comprehensive comparison of a large spectrum of adaptive techniques for the Kriging framework. Furthermore a multitude of adaptive techniques is introduced to multifidelity Kriging as well as well as to a Kriging model with reduced hyperparameter dimension called partial least squares Kriging. In addition, an innovative adaptive scheme for binary classification is presented and tested for identifying chaotic motion of a Duffing's type oscillator.

研究の動機と目的

• Krigingメタモデルにおける適応的サンプリングを通じて、高価なシミュレーションの回数を最小限に抑えることで、パラメトリックな研究における計算コストを低減すること。
• ベンチマークおよび実世界の機械的問題における通常Krigingおよび多忠実度Krigingの広範な適応的サンプリング手法の評価と比較を行うこと。
• 特にカオス的ダイナミクスの同定に特化した、二値分類タスクのための新規適応的サンプリングスキームの開発と検証を行うこと。
• 次元数および問題の複雑さが、Krigingモデルにおける適応的サンプリング戦略のパフォーマンスに与える影響を調査すること。
• ハイパーパramータの次元数を低減し、多忠実度モデリングを用いることで、Krigingのロバストネスと効率性を向上させること。

提案手法

• 補間および不確実性の定量化のための普遍的および通常の定式化を用いた、ガウス過程に基づくメタモデリング手法としてKrigingを採用した。
• 交差検証、分散に基づく、勾配に基づく、およびクエリ・バイ・コミッティ（query-by-committee）法を含む適応的サンプリング戦略を実装し、情報量の多いサンプルを反復的に選択した。
• 二値分類タスク、特に力学的系におけるカオス的挙動の同定に特化した、新規のMIVor（オッズ比の最小分散）適応的サンプリングスキームを提案した。
• 低忠実度および高忠実度のシミュレーションを統合することで、多忠実度設定におけるKrigingを拡張し、高忠実度評価の回数を減らしつつモデルの精度を向上させた。
• 高次元問題における計算効率の向上を図るため、部分最小二乗法（PLS）を用いてハイパーパramータの次元数を低減した。
• Duffing振動子におけるカオス的運動の二値分類の定義に、Rosensteinのアルゴリズムを用いたリャプノフ指数推定を用いた。

実験結果

リサーチクエスチョン

• RQ1 多様なベンチマーク関数において、どの適応的サンプリング手法が最も少ないサンプル数で最も高い精度のKrigingメタモデルを達成するか？
• RQ2 問題の次元数および複雑さの増加に伴い、適応的サンプリングのパフォーマンスはどのように変化するか？
• RQ3 Krigingに基づくカオス的システムの二値分類のための新規適応的サンプリングスキームを効果的に設計できるか？
• RQ4 多忠実度Krigingは、高忠実度シミュレーションコストを削減しつつ、どの程度スレーブモデルの精度を向上させられるか？
• RQ5 PLSによる次元数低減は、高次元パラメトリック空間におけるKrigingモデルの安定性および精度にどの程度影響を与えるか？

主な発見

• MIVor適応的サンプリングスキームは、Duffing振動子におけるカオス的運動と非カオス的運動の分類において、標準的手法を顕著に上回り、より少ないサンプル数で高い分類精度を達成した。
• 分散に基づくおよび交差検証に基づく適応的サンプリングは、Ackley関数およびSix-Hump Camel関数などのベンチマーク関数において、特に低次元から中程度次元の範囲で優れた収束性と精度を示した。
• 多忠実度Krigingは、Forrester関数およびCurrin関数において、単一忠実度アプローチに比べて高忠実度シミュレーションの必要回数を最大50％まで削減しながら、予測精度を維持または向上させた。
• PLS-Krigingアプローチは、高次元問題（例：10次元Wong関数）において過学習を効果的に抑制し、モデルの安定性を向上させ、ハイパーパramータ推定誤差を低減した。
• 適応的サンプリング手法は、低次元から中程度次元の問題（≤7次元）において最も効果的であった。次元数の増加に伴い、次元の呪いの影響により性能が劣化した。
• 適切な正規化および停止基準が、異なるサンプリング戦略および問題タイプ間で一貫したパフォーマンスを発揮するために不可欠であることが確認された。