[논문 리뷰] Bayesian Design of Experiments: Implementation, Validation and Application to Chemical Kinetics

Eric A. Walker, Kishore Ravisankar|arXiv (Cornell University)|2019. 09. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 46인용 수 4

한 줄 요약

이 논문은 화학 반응 속도론에서의 실험 최적화를 위한 베이지안 실험 설계(BED) 프레임워크를 제시한다. 예측된 정보 수익을 통해 온도 및 반응기 부피와 같은 실험 변수의 선택을 안내한다. 선형 회귀, 반응 자유 에너지 모델, 촉매 막 반응기의 세 가지 사례 연구를 통해 수치적 및 분석적 기준을 바탕으로 방법을 검증하였으며, 격자 탐색 초기화를 사용한 미분 진화 및 가장 급격은 상승 알고리즘을 통해 설계를 최적화하였다.

ABSTRACT

Bayesian experimental design (BED) is a tool for guiding experiments founded on the principle of expected information gain. I.e., which experiment design will inform the most about the model can be predicted before experiments in a laboratory are conducted. BED is also useful when specific physical questions arise from the model which are answered from certain experiments but not from other experiments. BED can take two forms, and these two forms are expressed in three example models in this work. The first example takes the form of a Bayesian linear regression, but also this example is a benchmark for checking numerical and analytical solutions. One of two parameters is an estimator of the synthetic experimental data, and the BED task is choosing among which of the two parameters to inform (limited experimental observability). The second example is a chemical reaction model with a parameter space of informed reaction free energy and temperature. The temperature is an independent experimental design variable explored for information gain. The second and third examples are of the form of adjusting an independent variable in the experimental setup. The third example is a catalytic membrane reactor similar to a plug-flow reactor. For this example, a grid search over the independent variables, temperature and volume, for the greatest information gain is conducted. Also, maximum information gain is conducted is optimized with two algorithms: the differential evolution algorithm and steepest ascent, both of which benefitted in terms of initial guess from the grid search.

연구 동기 및 목표

• 실험을 수행하기 전에 정보 수익을 최대화하는 베이지안 실험 설계(BED) 프레임워크를 개발하고 검증하는 것.
• 정보 수익을 최적화 기준으로 삼아, 실험 관측의 제한성 문제를 해결하기 위해 측정할 파라미터를 선택하는 것.
• 반응 자유 에너지 모델과 촉매 막 반응기와 같은 실제 화학 시스템에 BED를 적용하여 최적의 실험 설정을 안내하는 것.
• 수치적 및 분석적 해를 비교하여 기준 선형 회귀 모델에서 방법의 정확성을 확보하는 것.
• 격자 탐색 초기화를 기반으로 한 전역 및 국소 최적화 알고리즘을 사용하여 실험 설계 변수(예: 온도, 부피)를 최적화하는 것.

제안 방법

• 예측된 정보 수익을 목적 함수로 사용하여 BED를 수립하여, 각 실험 설계가 모델 파라미터의 불확실성을 얼마나 줄이는지 정량화한다.
• 수치적 해의 정확성을 검증하기 위해 분석 결과와 비교 가능한 기준 모델로 베이지안 선형 회귀를 적용한다.
• 자유 에너지와 온도를 파라미터로 하는 화학 반응 모델을 사용하며, 온도를 조절 가능한 실험 설계 변수로 간주한다.
• 정보 수익이 최대가 되는 영역을 식별하기 위해 온도와 반응기 부피에 대한 격자 탐색을 수행한다.
• 초기 추측값으로 격자 탐색 결과를 활용하여, 미분 진화 및 가장 급격은 상승 알고리즘을 사용해 실험 설계를 최적화한다.
• 선형 회귀의 경우 분석적 해와의 비교를 통해 결과를 검증하고, 화학 반응 속도론 모델에서는 시뮬레이션 기반 평가를 실시한다.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크에서 미지의 파라미터를 추정하기 위해 어떤 실험 설계가 가장 높은 예측 정보 수익을 제공하는가?
• RQ2 정보 수익을 기반으로 어떤 파라미터를 측정할지 선택함으로써 실험 관측의 제한성을 어떻게 해결할 수 있는가?
• RQ3 미분 진화 및 가장 급격은 상승과 같은 수치 최적화 방법이 화학 반응 속도론에서 실험 설계를 얼마나 향상시킬 수 있는가?
• RQ4 격자 탐색 초기화가 BED에서 최적화 알고리즘의 수렴성과 성능을 어떻게 향상시키는가?
• RQ5 분석적 기준과 실제 화학 시스템에 적용 가능한가에 따라 BED 프레임워크를 신뢰성 있게 검증할 수 있는가?

주요 결과

• 베이지안 실험 설계 프레임워크는 물리적 실험을 수행하기 전에 최적의 실험 조건을 성공적으로 식별하여 자원 낭비를 최소화한다.
• 기준 선형 회귀 모델은 분석 결과와 밀도적으로 일치하는 수치적 해의 정확성을 확인하였다.
• 반응 자유 에너지 모델에서 온도는 정보 수익에 상당한 영향을 미치는 핵심 설계 변수로 규명되었다.
• 촉매 막 반응기의 경우 특정 조합의 온도와 부피에서 최적의 설계가 도출되었으며, 최적화를 통해 정보 수익이 최대화되었다.
• 미분 진화 및 가장 급격은 상승 알고리즘이 모두 높은 정보 수익을 가진 설계를 효과적으로 탐색하였으며, 격자 탐색이 강력한 초기 추측값을 제공하였다.
• 이 방법은 다양한 화학 반응 속도론 문제에 대해 확장성과 강건성을 입증하여 실제 실험 계획 수립에의 적용 가능성을 뒷받침한다.