[논문 리뷰] The Automated Discovery of Kinetic Rate Models -- Methodological Frameworks

Miguel Ángel de Carvalho Servia, Ilya Orson Sandoval외 5명|arXiv (Cornell University)|2023. 01. 26.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 정보 기준을 통한 엄밀한 모델 선택을 통해 기호 회귀를 활용한 촉매 반응 속도 모델을 자동으로 발견하는 두 가지 프레임워크인 ADoK-S와 ADoK-W를 제안한다. 유전적 프로그래밍을 통한 모델 생성과 MBDoE 기반 실험 설계를 통한 순차 최적화를 조합함으로써, 세 가지 복잡한 사례 연구에서 제한적이고 노이즈가 많은 데이터로부터 진짜 반응 메커니즘을 성공적으로 복원하였으며, 화학 반응 공학 분야에서의 강건성과 확장성은 입증되었다.

ABSTRACT

The industrialization of catalytic processes requires reliable kinetic models for their design, optimization and control. Mechanistic models require significant domain knowledge, while data-driven and hybrid models lack interpretability. Automated knowledge discovery methods, such as ALAMO (Automated Learning of Algebraic Models for Optimization), SINDy (Sparse Identification of Nonlinear Dynamics), and genetic programming, have gained popularity but suffer from limitations such as needing model structure assumptions, exhibiting poor scalability, and displaying sensitivity to noise. To overcome these challenges, we propose two methodological frameworks, ADoK-S and ADoK-W (Automated Discovery of Kinetic rate models using a Strong/Weak formulation of symbolic regression), for the automated generation of catalytic kinetic models using a robust criterion for model selection. We leverage genetic programming for model generation and a sequential optimization routine for model refinement. The frameworks are tested against three case studies of increasing complexity, demonstrating their ability to retrieve the underlying kinetic rate model with limited noisy data from the catalytic systems, showcasing their potential for chemical reaction engineering applications.

연구 동기 및 목표

• 기존 자동 지식 발견 방법의 한계, 즉 구조적 가정, 낮은 확장성, 노이즈에 대한 민감성 등의 문제를 해결하기 위해.
• 기계적 메커니즘에 대한 사전 지식이 필요 없이도 강건하고 일반화 가능한 해석 가능한 반응 속도 모델을 자동으로 발견하는 프레임워크를 개발하기 위해.
• 통계적 타당성과 투명성을 확보하기 위해 정보 기준(AIC/BIC)을 통한 엄밀한 모델 선택을 통합하기 위해.
• MBDoE(Multi-Block Bayesian Design of Experiments)를 활용하여 순차적 실험을 지도함으로써 데이터 효율성을 향상시키고 반복적으로 모델 정확도를 향상시키기 위해.
• 점점 더 복잡한 촉매 시스템, 즉 이성질화, N₂O 분해, 톨루엔 수소탈알킬화에 대한 프레임워크의 능력을 입증하기 위해.

제안 방법

• 기하학적 프로그래밍을 활용해 반응 속도 법칙에 대한 후보 기호 표현의 광범위한 공간을 탐색함으로써, 데이터 기반의 탄력적인 모델 생성을 가능하게 한다.
• 실험 데이터로부터의 농도 프로파일을 기반으로 비선형 최소 제곱법 피팅을 통해 모델 파라미터를 개선하기 위한 순차 최적화 절차를 적용한다.
• AIC와 BIC를 정보 기준으로 활용하여 객관적이고 투명한 모델 선택을 수행하며, 적합도와 복잡도 사이의 최적 균형을 갖는 모델을 선호한다.
• MBDoE를 통합하여 현재 모델 예측의 불확실성에 기반해 전략적으로 새로운 실험을 설계함으로써 데이터 효율성과 수렴 속도를 향상시킨다.
• 강한(ADoK-S) 및 약한(ADoK-W) 기반의 기호 회귀를 활용해 강건성을 향상시키며, ADoK-S는 직접적으로 반응 속도 표현을 모델링하고, ADoK-W는 통합된 농도 프로파일을 사용한다.
• 각 반복 후에 새로운 실험 데이터를 연결하여 반복적으로 모델 발견을 향상시키며, 진짜 반응 메커니즘으로 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 제한적이고 노이즈가 많은 실험 데이터에서 사전 메커니즘 가정 없이 자동 기호 회귀 프레임워크가 진짜 기반 반응 속도 법칙을 발견할 수 있는가?
• RQ2 정보 기준(AIC/BIC)의 통합은 기계적 또는 투명하지 않은 기준에 비해 반응 속도 모델 발견에서 모델 선택의 강건성을 얼마나 향상시키는가?
• RQ3 MBDoE 기반 순차적 실험 설계는 자동 반응 속도 모델 발견의 정확도와 수렴 속도를 얼마나 향상시키는가?
• RQ4 ADoK-S와 ADoK-W의 강한 및 약한 기반 기반의 기호 회귀 방식은 점점 더 복잡한 시스템에서 성능과 강건성 측면에서 어떻게 다름을 보이는가?
• RQ5 제안된 프레임워크는 실제 촉매 시스템에서 진짜 속도 법칙과 일치하는 해석 가능한 물리적 의미를 갖는 반응 속도 표현을 회복할 수 있는가?

주요 결과

• ADoK-S는 오직 다섯 번의 초도 실험 후 톨루엔의 수소탈알킬화에 대한 진짜 반응 속도 모델을 성공적으로 복원하였으며, 동일한 구조와 유사한 파라미터를 갖는 모델 $\hat{r}^{*} = \frac{1.124C_{T}C_{H}}{1+4.932C_{B}+2.928C_{T}}$ 를 도출하였다.
• 이성질화 반응의 경우, ADoK-W는 여섯 번의 실험 후 진짜 속도 모델을 재발견하였으며, $\hat{r}^{*} = \frac{9.998C_{A}-4.496C_{B}+0.386}{6.038C_{A}+2.137C_{B}+7.892}$ 를 도출하였고, 추가로 존재하는 미미한 파라미터는 무시할 수 있을 정도였다.
• N₂O 분해의 경우, ADoK-W는 일곱 번의 실험 후 올바른 모델 구조 $\hat{r}^{*} = \frac{1.584C_{N_{2}O}^{2}}{1+3.798C_{N_{2}O}}$ 를 발견하였으며, 고노이즈와 복잡한 동역학 조건에서도 복원 가능함을 입증하였다.
• 이 프레임워크들은 노이즈가 많은 데이터와 열악한 초도 데이터 품질에 대해 강건성을 보였으며, AIC/BIC를 통한 모델 선택이 부정확한 후보를 효과적으로 걸러내었다.
• MBDoE 통합은 데이터 효율성을 크게 향상시켜, 무작위 또는 균일 샘플링에 비해 훨씬 적은 실험 수로 모델 발견이 가능하도록 하였다.
• 모든 발견된 모델들은 진짜 반응 속도 표현과 구조적·파rametric 측면에서 유사하였으며, 이는 이 방법론의 강건성과 해석 가능성의 확립을 확인한다.