[論文レビュー] A Strategy for Adaptive Sampling of Multi-fidelity Gaussian Process to Reduce Predictive Uncertainty

Sayan Ghosh, Jesper Kristensen+3 more|arXiv (Cornell University)|Jul 26, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 40被引用数 4

ひとこと要約

本論文は、予測不確実性の低減量を単位コストあたりに最大化するように、次回の設計点と忠実度レベルを同時に選択する、新しい適応的サンプリング戦略を提案する。忠実度に配慮した不確実性対コスト比基準を導入し、予測不確実性低減量を定量化するための「Believer」概念を統合することで、特に忠実度コスト比が高い場合に、ベースライン手法と比較して著しく低い総コストを達成しながら、予測精度を維持または向上させた。

ABSTRACT

Multi-fidelity Gaussian process is a common approach to address the extensive computationally demanding algorithms such as optimization, calibration and uncertainty quantification. Adaptive sampling for multi-fidelity Gaussian process is a changing task due to the fact that not only we seek to estimate the next sampling location of the design variable, but also the level of the simulator fidelity. This issue is often addressed by including the cost of the simulator as an another factor in the searching criterion in conjunction with the uncertainty reduction metric. In this work, we extent the traditional design of experiment framework for the multi-fidelity Gaussian process by partitioning the prediction uncertainty based on the fidelity level and the associated cost of execution. In addition, we utilize the concept of Believer which quantifies the effect of adding an exploratory design point on the Gaussian process uncertainty prediction. We demonstrated our framework using academic examples as well as a industrial application of steady-state thermodynamic operation point of a fluidized bed process

研究の動機と目的

• 補間モデリングにおける複数忠実度モデルに限られた計算および実験予算を効率的に配分する課題に対処すること。
• 忠実度選択と設計点選択を別々の意思決定として扱う従来の適応的サンプリングの限界を克服すること。
• 予測不確実性低減量と忠実度固有のコストの両方をバランスさせる統合的基準を開発し、サンプリング効率を向上させること。
• 「Believer」フレームワークを統合して、新しいデータポイントが不確実性低減に与える影響を定量化し、多忠実度設定における意思決定を強化すること。
• 解析的テストケースおよび流動化床熱力学モデリングにおける実産業応用を通じて、本手法の有効性を示すこと。

提案手法

• 各候補設計点における各忠実度レベルの不確実性低減量を単位コストあたりに評価する、最大個別忠実度不確実性対コスト比（Max IF-UCR）という新しい適応的サンプリング基準を提案する。
• 全予測不確実性を低忠実度モデルおよび補正（差分）モデルに起因する成分に分割することで、忠実度固有の不確実性評価を可能にする。
• ガウス過程文献における「Believer」概念を統合し、新たなデータポイントの追加による予測不確実性の期待低減量を評価することで、サンプリング意思決定の情報量を向上させる。
• Max IF-UCRを、忠実度固有の不確実性低減量とBeliever指標を組み合わせたMax IF-UCR belに拡張し、より精度の高い予測的利益推定を実現する。
• 高忠実度出力を低忠実度予測値に差分関数を加えて補正する多忠実度ガウス過程フレームワークを採用する。
• 提案基準を繰り返し適用する：不確実性対コスト比（IF-UCRまたはIF-UCR bel）が最大となる次回のサンプリング点および忠実度を選択し、その後新しいデータで補間モデルを更新する。

実験結果

リサーチクエスチョン

• RQ1 設計点と忠実度レベルの選択を同時に最適化することで、多忠実度ガウス過程における適応的サンプリングをどのように改善できるか？
• RQ2 忠実度固有の不確実性分解を組み込むことで、サンプリング効率とコスト削減にどのような影響を与えるか？
• RQ3 グローバル不確実性指標と比較して、「Believer」指標は多忠実度設定における情報量の多いデータポイントの選択にどのように寄与するか？
• RQ4 異なる忠実度コスト比において、提案されたMax IF-UCRおよびMax IF-UCR bel基準は、ベースラインのMax MF-UCR基準と比べてどのように性能を示すか？
• RQ5 本手法は、実世界の工学的応用において、予測精度を維持または向上させながら、総コストをどの程度低減できるか？

主な発見

• 高忠実度対低忠実度コスト比が2:1の場合、提案されたMax IF-UCRおよびMax IF-UCR bel手法は、ベースラインのMax MF-UCRと比較してコスト優位性がほとんど見られず、コスト差が顕著でなかった。
• より高いコスト比（5:1および10:1）の場合、Max IF-UCRおよびMax IF-UCR belの両手法が、ベースラインのMax MF-UCRと比較して顕著に低い総コストを達成した。特にMax IF-UCRが最良の結果を示した。
• 高コスト比においてMax IF-UCR belバージョンは、Max IF-UCRと同様の性能トレンドに収束した。これは、Believer拡張が効率を損なわず、より高いロバストネスを実現していることを示している。
• 流動化床プロセスの事例において、すべての手法の平均二乗誤差（RMSE）は類似した範囲に収束した。これは、コスト差が存在しても予測精度が維持されたことを示している。
• ランダムに選ばれた初期サンプルを用いた10回の独立実験を通じて、本手法は多様な初期条件下でも一貫した性能を示した。
• 高忠実度シミュレーションが低忠実度に対して高コストである場合に特に顕著に、予測不確実性を少ない高忠実度評価回数で低減できた。