[논문 리뷰] Kinetics-Informed Neural Networks

Gabriel S. Gusmão, Adhika P. Retnanto외 2명|arXiv (Cornell University)|2020. 11. 30.

Machine Learning in Materials Science인용 수 2

한 줄 요약

이 논문은 피드포워드 신경망을 기본 함수로 사용하여 제약 조건이 부가된 상미분방정식(ODE)을 통해 마이크로키네틱 모델을 해결하는 물리 기반 기계학습 프레임워크인 Kinetics-Informed Neural Networks(KINNs)를 제안한다. 정규화된 다목적 최적화 설정에서 신경망과 키네틱 파라미터를 함께 훈련시킴으로써, KINNs는 노이즈가 있는 합성 일시적 데이터로부터도 정확하게 키네틱 파라미터와 스케일링 인자를 복원하며, 촉매 반응의 역키네틱 문제에 대해 뛰어난 내구성을 보여준다.

ABSTRACT

Chemical kinetics and reaction engineering consists of the phenomenological framework for the disentanglement of reaction mechanisms, optimization of reaction performance and the rational design of chemical processes. Here, we utilize feed-forward artificial neural networks as basis functions to solve ordinary differential equations (ODEs) constrained by differential algebraic equations (DAEs) that describe microkinetic models (MKMs). We present an algebraic framework for the mathematical description and classification of reaction networks, types of elementary reaction, and chemical species. Under this framework, we demonstrate that the simultaneous training of neural nets and kinetic model parameters in a regularized multi-objective optimization setting leads to the solution of the inverse problem through the estimation of kinetic parameters from synthetic experimental data. We analyze a set of scenarios to establish the extent to which kinetic parameters can be retrieved from transient kinetic data, and assess the robustness of the methodology with respect to statistical noise. This approach to inverse kinetic ODEs can assist in the elucidation of reaction mechanisms based on transient data.

연구 동기 및 목표

• 마이크로키네틱 모델에 물리 법칙을 통합한 서브스티튜션 근사(SA) 프레임워크를 개발한다.
• 중간 종물 농도가 직접 측정되지 않는 경우에도 일시적 실험 데이터로부터 키네틱 파라미터를 추정하는 역문제를 해결한다.
• 물리 기반 정규화를 통합하여 키네틱 데이터의 통계적 노이즈에 대한 내구성을 향상시킨다.
• 복잡한 반응 네트워크에서 탈구성된 스펙트로스코픽 신호의 스케일링 인자를 동시에 추정할 수 있도록 한다.
• 일시적 키네틱 데이터를 활용한 메커니즘 규명을 위한 확장 가능하고 미분 가능한 프레임워크를 제공한다.

제안 방법

• 종류, 상태, 기본 반응 유형을 분류하는 체계를 사용하여 반응 네트워크를 수식화한다.
• 마이크로키네틱 모델에서 표면 종물의 시간에 따라 변하는 커버리지 근사를 위해 피드포워드 신경망을 기본 함수로 사용한다.
• 신경망에 초기 조건(IC)을 구조적 제약 조건을 통해 강제 적용하여 ODE와 물리적 일관성을 확보한다.
• 보조 신경망을 도입하여 특성 시간 스케일을 학습함으로써, 굳은 ODE 시스템에서의 수치적 안정성을 향상시킨다.
• 표면 커버리지 분율의 정규화를 위해, 기초 및 표면 종물을 별도의 신경망으로 분리함으로써 DAE 유형의 제약 조건을 통합한다.
• 정규화된 다목적 최적화 프레임워크에서 신경망 가중치와 키네틱 파라미터를 동시에 훈련시켜 물리 모델의 정확성과 데이터 피팅 간 균형을 확보한다.

실험 결과

연구 질문

• RQ1 신경망을 물리적 제약 조건을 준수하면서도 정방향 및 역방향 마이크로키네틱 ODE를 해결하는 기본 함수로 효과적으로 사용할 수 있는가?
• RQ2 KINNs는 중간 종물이 직접 관측되지 않는 경우에도 합성 일시적 데이터로부터 키네틱 파라미터를 얼마나 정확하게 복원할 수 있는가?
• RQ3 통계적 노이즈가 KINNs의 파라미터 추정 정확도와 내구성에 미치는 영향은 어떠한가?
• RQ4 KINNs는 탈구성된 스펙트로스코픽 신호의 스케일링 인자와 키네틱 파라미터를 동시에 추정할 수 있는가?
• RQ5 다목적 최적화에서의 정규화 파라미터가 훈련을 이끌고 역키네틱 문제의 일반화 능력을 향상시키는 데 얼마나 기여하는가?

주요 결과

• KINNs는 초기 조건을 구조적으로 강제 적용함으로써 신경망을 기본 함수로 사용하여 마이크로키네틱 ODE의 정방문제를 성공적으로 해결한다.
• 노이즈가 첨가된 합성 일시적 데이터로부터도 정확한 역파라미터 추정이 가능하며, 내구성이 입증된다.
• KINNs는 스펙트로스코픽 신호를 표면 커버리지로 매핑하는 스케일링 인자와 키네틱 파라미터를 동시에 추정할 수 있어, 탈구성된 실험 데이터에의 적용 범위를 넓힌다.
• 시간 스케일 학습을 위한 보조 네트워크의 통합은 특히 굳은 ODE 시스템에서 수치적 안정성을 향상시킨다.
• 다목적 최적화 프레임워크의 정규화 파라미터는 물리 모델 일관성과 데이터 보간 간의 제어 가능한 트레이드오���을 가능하게 하며, 파레토 집합 탐색과 훈련 정지 기준을 제공한다.
• 복잡한 메커니즘인 dcs(dissociative carbide surface) 메커니즘에 대한 검증을 통해, KINNs는 키네틱 파라미터와 스케일링 인자를 신뢰성 있게 복원함을 보여준다.