[논문 리뷰] Guiding the Sequential Experiments in Autonomous Experimentation Platforms through EI-based Bayesian Optimization and Bayesian Model Averaging

Ahmed Shoyeb Raihan, Imtiaz Ahmed|arXiv (Cornell University)|2023. 02. 26.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 자율 실험 플랫폼(AEPs)에서 순차적 실험 선택을 향상시키기 위해 베이지안 모델 평균화(BMA)를 통합한 베이지안 최적화 프레임워크를 제안한다. 여러 예측 모델에 대한 모델 평균화와 기대 개선(EI)-기반의 획득 함수를 통합함으로써 불확실성을 감소시키고 실제 스틸 피로 강도 데이터셋에서 예측 정확도를 향상시킨다. 이는 기존의 단일 모델 기반 BO보다 RMSE에서 뛰어난 성능을 보인다.

ABSTRACT

Autonomous Experimentation Platforms (AEPs) are advanced manufacturing platforms that, under intelligent control, can sequentially search the material design space (MDS) and identify parameters with the desired properties. At the heart of the intelligent control of these AEPs is the policy guiding the sequential experiments, which is to choose the location to carry out the next experiment. In such cases, a balance between exploitation and exploration must be achieved. A Bayesian Optimization (BO) framework with Expected Improvement based (EI-based) acquisition function can effectively search the MDS and guide where to conduct the next experiments so that the underlying relationship can be identified with a smaller number of experiments. The traditional BO framework tries to optimize a black box objective function in a sequential manner by relying on a single model. However, this single-model approach does not account for model uncertainty. Bayesian Model Averaging (BMA) addresses this issue by working with multiple models and thus considering the uncertainty in the models. In this work, we first apply the conventional BO algorithm with the most popular EI-based experiment policy in a real-life fatigue dataset for steel to predict the fatigue strength of steel. Afterward, we apply BMA to the same dataset by working with a set of predictive models and compare the performance of BMA with the traditional BO algorithm, which relies on a single model for approximation. We compare the results in terms of RMSE and find that BMA performs better than EI-based BO in the prediction task by considering the model uncertainty in its framework.

연구 동기 및 목표

• 베이지안 최적화에서 모델 불확실성을 줄임으로써 자율 실험 플랫폼(AEPs)에서 순차적 실험 선택을 향상시키는 것.
• 실제 재료 설계에서 전통적인 기대 개선(EI)-기반 베이지안 최적화(BO)와 비교하여 베이지안 모델 평균화(BMA)의 성능을 평가하는 것.
• BMA를 통해 모델 불확실성을 통합할 경우 재료 성질 최적화에서 예측 정확도가 향상되는지 평가하는 것.
• 실제 피로 강도 데이터셋에서 BMA-BO가 실험 반복 수를 최소화하면서도 예측 신뢰성을 향상시키는지 입증하는 것.

제안 방법

• 실제 스틸 피로 데이터셋에서 순차적 실험을 이끄는 데 표준 기대 개선(EI)-기반 베이지안 최적화(BO)를 단일 가우시안 프로세스(GP) 모델을 사용하여 적용한다.
• 베이지안 모델 평균화(BMA)를 통합하여 BO 프레임워크를 확장함으로써 모델 불확실성을 고려한다.
• BMA는 모델의 사후 확률에 기반한 가중치를 사용해 다수의 모델 예측을 가중 평균으로 조합하여 모델 잘못 설정에 대한 강건성을 향상시킨다.
• BMA-BO 프레임워크의 획득 함수는 평균화된 모델의 예측 분포 하에서 기대 개선을 기반으로 유도된다.
• 이 방법은 현재까지의 최고 관측치를 기준으로 기대 개선을 최대화함으로써 다음 실험 위치를 순차적으로 선택한다. 이때 BMA 예측 평균과 분산을 사용한다.
• 성능 평가는 테스트 세트에서의 RMSE를 사용하여 BMA-BO를 단일 GP 모델 기반 표준 EI-기반 BO와 비교한다.

실험 결과

연구 질문

• RQ1 기대 개선 기반 베이지안 최적화에 베이지안 모델 평균화(BMA)를 통합하면 자율 실험에서 예측 정확도가 향상되는가?
• RQ2 BMA를 통해 모델 불확실성을 고려할 경우 재료 설계에서 순차적 실험 선택의 수렴성과 강건성은 어떻게 영향을 받는가?
• RQ3 BMA-BO는 실제 재료 성질 데이터셋에서 실험 수를 줄일 수 있으며, 예측 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 실제 스틸 피로 강도 데이터셋에서 BMA-BO는 단일 모델 기반 BO와 비교해 RMSE 측면에서 어떻게 다른가?

주요 결과

• 베이지안 모델 평균화(BMA)는 기존의 단일 모델 기반 기대 개선 기반 베이지안 최적화보다 예측 정확도를 크게 향상시킨다.
• BMA-BO 프레임워크는 단일 모델 기반 BO보다 테스트 세트에서 더 낮은 제곱근 평균 제곱 오차(RMSE)를 기록하여 일반화 능력 향상을 입증한다.
• 다양한 모델의 불확실성을 통합함으로써 BMA-BO는 모델 잘못 설정으로 인한 열악한 예측의 위험을 줄인다.
• 획득 함수에 BMA를 통합함으로써 순차적 재료 발견에서 더 강건하고 신뢰할 수 있는 실험 선택이 가능해진다.