[論文レビュー] Guiding the Sequential Experiments in Autonomous Experimentation Platforms through EI-based Bayesian Optimization and Bayesian Model Averaging

Ahmed Shoyeb Raihan, Imtiaz Ahmed|arXiv (Cornell University)|Feb 26, 2023

Fault Detection and Control Systems被引用数 4

ひとこと要約

本稿では、自律的実験プラットフォーム（AEPs）における逐次的実験選択を改善するため、ベイジアンモデル平均（BMA）を統合したベイジアン最適化フレームワークを提案する。期待改善（EI）に基づく獲得関数と複数の予測モデルにおけるモデル平均を統合することで、実際の鋼材疲労強度データセットにおいて不確実性を低減し、予測精度を向上させ、従来の単一モデルBOよりもRMSEで優れた性能を示した。

ABSTRACT

Autonomous Experimentation Platforms (AEPs) are advanced manufacturing platforms that, under intelligent control, can sequentially search the material design space (MDS) and identify parameters with the desired properties. At the heart of the intelligent control of these AEPs is the policy guiding the sequential experiments, which is to choose the location to carry out the next experiment. In such cases, a balance between exploitation and exploration must be achieved. A Bayesian Optimization (BO) framework with Expected Improvement based (EI-based) acquisition function can effectively search the MDS and guide where to conduct the next experiments so that the underlying relationship can be identified with a smaller number of experiments. The traditional BO framework tries to optimize a black box objective function in a sequential manner by relying on a single model. However, this single-model approach does not account for model uncertainty. Bayesian Model Averaging (BMA) addresses this issue by working with multiple models and thus considering the uncertainty in the models. In this work, we first apply the conventional BO algorithm with the most popular EI-based experiment policy in a real-life fatigue dataset for steel to predict the fatigue strength of steel. Afterward, we apply BMA to the same dataset by working with a set of predictive models and compare the performance of BMA with the traditional BO algorithm, which relies on a single model for approximation. We compare the results in terms of RMSE and find that BMA performs better than EI-based BO in the prediction task by considering the model uncertainty in its framework.

研究の動機と目的

• ベイジアン最適化におけるモデル不確実性を低減することで、自律的実験プラットフォーム（AEPs）における逐次的実験選択を改善すること。
• 実世界の材料設計において、ベイジアンモデル平均（BMA）と従来の期待改善（EI）に基づくベイジアン最適化（BO）の性能を評価すること。
• BMAによるモデル不確実性の組み込みが、材料特性最適化における予測精度を向上させるかどうかを評価すること。
• BMA-BOが、実際の疲労強度データセットにおいて実験反復回数を最小限に抑えながら予測信頼性を向上させることの有効性を示すこと。

提案手法

• 本研究では、実際の鋼材疲労データセット上で逐次的実験をガイドするため、単一のガウス過程（GP）モデルを用いた標準的な期待改善（EI）に基づくベイジアン最適化（BO）を適用する。
• BOフレームワークを拡張するために、複数のGPモデルの予測を統合してモデル不確実性を扱うベイジアンモデル平均（BMA）を統合する。
• BMAは、モデルの事後確率に基づく重み付け平均を用いて、複数のモデルの予測を平均化し、モデルの誤指定に対するロバスト性を向上させる。
• BMA-BOフレームワークにおける獲得関数は、平均化されたモデルの予測分布における期待改善から導出される。
• 本手法は、BMAによる予測平均と分散を用いて、現在の最良観測値を上回る期待改善を最大化することで、次の実験位置を逐次的に選択する。
• 性能評価は、テストセットにおけるRMSEを用い、単一GPモデルを用いた標準的なEIベースBOと比較して行う。

実験結果

リサーチクエスチョン

• RQ1 期待改善に基づくベイジアン最適化にベイジアンモデル平均（BMA）を統合することで、自律的実験における予測精度が向上するか？
• RQ2 BMAによるモデル不確実性の取り扱いは、材料設計における逐次的実験選択の収束性とロバスト性にどのように影響するか？
• RQ3 BMA-BOは、実際の材料特性データセットにおいて、必要な実験回数を削減しながらも、予測性能を維持または向上させることができるか？
• RQ4 実世界の鋼材疲労強度データセットにおいて、BMA-BOは単一モデルBOと比較してRMSEでどのように異なるか？

主な発見

• ベイジアンモデル平均（BMA）は、単一モデルを用いた従来のEIベースのベイジアン最適化よりも顕著に予測精度を向上させる。
• BMA-BOフレームワークは、単一モデルBOアプローチよりもテストセットにおける決定的平均二乗誤差（RMSE）を低く抑え、一般化性能の向上を示している。
• 複数のモデルにおける不確実性を組み込むことで、BMA-BOはモデルの誤指定による悪影響を低減する。
• 獲得関数にBMAを統合することで、逐次的材料発見における実験選択がよりロバストかつ信頼性のあるものとなる。