[논문 리뷰] Benchmarking the Performance of Bayesian Optimization across Multiple Experimental Materials Science Domains

Qiaohao Liang, Aldair E. Gongora외 13명|arXiv (Cornell University)|2021. 05. 23.

Machine Learning and Algorithms참고 문헌 40인용 수 11

한 줄 요약

이 논문은 탄소 나노튜브 폴리머 블렌드, 은 나노입자, 리드 할라이드 퍼스키트, 그리고 적층 제조된 고분자 등 다섯 가지 실험적 재료 과학 분야에서 베이지안 최적화(Bayesian optimization, BO)를 풀 기반 활성 학습 프레임워크를 사용해 벤치마킹한다. 결과적으로, 자동 관련성 탐지(ARD)를 갖춘 가우시안 프로세스(GP)와 랜덤 포레스트(RF)가 ARD 없이 표준 GP보다 뛰어난 성능을 보이며, 자동 재료 최적화 캠프에 있어서 대체 모델 선택에 실질적인 지침을 제공한다.

ABSTRACT

In the field of machine learning (ML) for materials optimization, active learning algorithms, such as Bayesian Optimization (BO), have been leveraged for guiding autonomous and high-throughput experimentation systems. However, very few studies have evaluated the efficiency of BO as a general optimization algorithm across a broad range of experimental materials science domains. In this work, we evaluate the performance of BO algorithms with a collection of surrogate model and acquisition function pairs across five diverse experimental materials systems, namely carbon nanotube polymer blends, silver nanoparticles, lead-halide perovskites, as well as additively manufactured polymer structures and shapes. By defining acceleration and enhancement metrics for general materials optimization objectives, we find that for surrogate model selection, Gaussian Process (GP) with anisotropic kernels (automatic relevance detection, ARD) and Random Forests (RF) have comparable performance and both outperform the commonly used GP without ARD. We discuss the implicit distributional assumptions of RF and GP, and the benefits of using GP with anisotropic kernels in detail. We provide practical insights for experimentalists on surrogate model selection of BO during materials optimization campaigns.

연구 동기 및 목표

• 다양한 실험적 재료 과학 분야에서 베이지안 최적화(BO)의 일반화 가능성과 효율성을 평가하는 것.
• 실험적 제약 조건 하에서 실제 재료 최적화에 가장 효과적인 대체 모델과 획득 함수 조합을 특정하는 것.
• 고속 실험 설정에서 BO 성능을 무작위 샘플링 기준선과 비교하기 위한 정량적 지표를 제공하는 것.
• 자율 재료 발견 플랫폼에서 대체 모델 선택을 위한 실용적이고 데이터 기반의 권고 사항을 제공하는 것.
• 실제 데이터셋을 기반으로 한 체계적인 평가가 부족한 상황에서 실험적 재료 과학 분야의 활성 학습 알고리즘 평가를 위한 기준 프레임워크를 수립하는 것.

제안 방법

• 고정된 실험 데이터 포인트 풀을 사용하여 반복적으로 다음 실험을 선택하는 초기 단계 재료 최적화를 시뮬레이션하기 위해 풀 기반 활성 학습 프레임워크를 사용한다.
• 목표 값과 불확실성을 예측하기 위해 가우시안 프로세스(GP)와 ARD를 포함하거나 포함하지 않은 모델, 그리고 랜덤 포레스트(RF)와 같은 대체 모델을 사용한다.
• 실험 선택을 이끄는 데 세 가지 획득 함수를 적용한다: 기대 개선도(Expected Improvement, EI), 개선 가능성 확률(Probability of Improvement, PI), 하한 신뢰 구간(Lower Confidence Bound, LCB).
• 가속도 요소와 향상 요소와 같은 통계적 지표를 사용하여 BO 성능을 무작위 샘플링과 정량적으로 비교한다.
• GP와 RF 모델의 사후 평균과 분산을 사용하여 획득 함수 값을 계산하며, GP는 커널 기반 공분산에 의존하고 RF는 앙상블 평균을 사용한다.
• 실제 데이터셋을 사용하여 실험적 노이즈와 현실 세계의 변동성을 통합함으로써, 실증적 관련성을 확보한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화는 무작위 샘플링 대비 다양한 실재 실험적 재료 과학 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 가우시안 프로세스에 ARD를 적용한 경우, ARD 없이 적용한 경우, 또는 랜덤 포레스트를 사용한 경우 중 어느 대체 모델이 여러 재료 분야에서 최고의 최적화 성능을 보이는가?
• RQ3 다양한 획득 함수(EI, PI, LCB)는 재료 최적화에서 수렴 속도와 최종 목표 값에 어떤 영향을 미치는가?
• RQ4 대체 모델의 분포 가정이 노이즈가 많은 현실 세계 실험 설정에서 BO 성능에 어떤 영향을 미치는가?
• RQ5 다양한 재료 시스템에서 BO의 성능 향상 정도는 설계 공간의 복잡성과 노이즈 특성의 차이에 따라 얼마나 다를까?

주요 결과

• 이상적인 커널을 갖춘 가우시안 프로세스(ARD-GP)와 랜덤 포레스트(RF)는 상호 유사한 성능을 보이며, 다섯 가지 재료 시스템 전반에서 표준 GP(ARD 없음)보다 뚜렷이 뛰어난 성능을 발휘한다.
• ARD-GP와 RF 기반 BO의 가속도 요소는 비-ARD GP보다 일관되게 높아, 최적의 재료 특성에 더 빨리 수렴함을 시사한다.
• 최소 세 개 이상의 다섯 개의 데이터셋에서 ARD-GP와 RF 모델의 향상 요소는 무작위 샘플링 대비 2.5배 이상을 초과하여 뚜렷한 성능 향상을 보였다.
• BO 성능은 대체 모델 선택에 민감하게 영향을 받으며, 비-ARD GP는 입력 특성 중요도에 대한 잘못된 가정으로 인해 일반화 성능이 열악하였다.
• 랜덤 포레스트는 노이즈와 비정규 분포에 뛰어난 내구성을 보이며, 높은 변동성이 있는 실험적 환경에서 GP의 강력한 대안이 되었다.
• ARD-GP와 기대 개선도(EI) 획득 함수의 조합이 모든 벤치마킹된 재료 시스템에서 가장 일관되고 빠른 수렴을 이끌었다.