[논문 리뷰] KiNet: A Deep Neural Network Representation of Chemical Kinetics

Weiqi Ji, Sili Deng|arXiv (Cornell University)|2021. 08. 01.

Metabolomics and Mass Spectrometry Studies참고 문헌 29인용 수 12

한 줄 요약

KiNet는 잔차 신경망과 시간을 거슬러 내려가는 backpropagation를 사용하여 고정된 시간 간격 동안 조성의 변화를 예측함으로써 실험 데이터로부터 화학 동역학을 학습하는 딥 뉴럴 네트워크이다. 이는 장기 예측의 정확성을 보장하고, Ignition Delay Time(IDT)에 대한 효율적인 기울기 계산을 가능하게 하여 다양한 H2/air 조건에서 뛰어난 일반화 성능을 보이며, 데이터 기반의 동역학 모델 개발을 가능하게 한다.

ABSTRACT

Deep learning is a potential approach to automatically develop kinetic models from experimental data. We propose a deep neural network model of KiNet to represent chemical kinetics. KiNet takes the current composition states and predicts the evolution of the states after a fixed time step. The long-period evolution of the states and their gradients to model parameters can be efficiently obtained by recursively applying the KiNet model multiple times. To address the challenges of the high-dimensional composition space and error accumulation in long-period prediction, the architecture of KiNet incorporates the residual network model (ResNet), and the training employs backpropagation through time (BPTT) approach to minimize multi-step prediction error. In addition, an approach for efficiently computing the gradient of the ignition delay time (IDT) to KiNet model parameters is proposed to train the KiNet against the rich database of IDT from literature, which could address the scarcity of time-resolved species measurements. The KiNet is first trained and compared with the simulated species profiles during the auto-ignition of H2/air mixtures. The obtained KiNet model can accurately predict the auto-ignition processes for various initial conditions that cover a wide range of pressures, temperatures, and equivalence ratios. Then, we show that the gradient of IDT to KiNet model parameters is parallel to the gradient of the temperature at the ignition point. This correlation enables efficient computation of the gradient of IDT via backpropagation and is demonstrated as a feasible approach for fine-tuning the KiNet against IDT. These demonstrations shall open up the possibility of building data-driven kinetic models autonomously. Finally, the trained KiNet could be potentially applied to kinetic model reduction and chemistry acceleration in turbulent combustion simulations.

연구 동기 및 목표

• 명시적인 속도 법칙이나 반응 메커니즘에 의존하지 않고도 화학 동역학을 표현하기 위한 데이터 기반의 딥 뉴럴 네트워크 프레임워크를 개발하는 것.
• H2/air 자가ignition과 같은 복잡한 반응 체계에서 압력, 온도, 화학스토이키오메트릭 비율의 변화에 관계없이 종 분포의 정확한 장기 예측을 가능하게 하는 것.
• 시간 해상도가 낮은 종 측정 데이터의 부족을 극복하기 위해, IDT에 대한 모델 파라미터에 대한 기울기를 효율적으로 계산하기 위해 backpropagation를 활용하는 것.
• 문헌 기반 IDT 데이터베이스를 기반으로 KiNet을 훈련시켜 강건한 동역학 모델 학습의 가능성을 입증하는 것.
• 동역학 모델 단순화 및 난류 연소 시뮬레이션에서의 화학 반응 가속화 응용 분야에의 잠재적 응용 가능성을 제공하는 것.

제안 방법

• 장기 예측에서 오차 누적 문제를 완화하고 훈련 안정성을 높이기 위해 고차원 조성 공간에서의 예측에 잔차 신경망(ResNet) 아키텍처를 적용한다.
• 시뮬레이션된 종 프로파일에 대한 훈련 동안 다단계 예측 오차를 최소화하기 위해 시간을 거슬러 내려가는 backpropagation(BPTT)를 사용한다.
• 고정된 시간 간격 동안 조성 상태의 변화를 예측함으로써 장기간 시뮬레이션에 대해 반복적 적용이 가능한 구조를 구현한다.
• IDT에 대한 모델 파라미터 기울기 계산을 효율적으로 수행하기 위한 방법을 제안하며, 이는 Ignition 시 온도 기울기와 IDT 기울기 간의 상관관계를 활용한다.
• 일반화 및 데이터 효율성을 향상시키기 위해 시뮬레이션된 종 프로파일과 문헌 기반 IDT 데이터를 조합하여 훈련한다.
• 종 프로파일과 IDT를 모두 감독 신호로 사용할 수 있도록 엔드 투 엔드 훈련이 가능한 아키텍처를 제공한다.

실험 결과

연구 질문

• RQ1 명시적인 반응 메커니즘 없이도 깊은 신경망이 다양한 초기 조건에서 복잡한 화학 동역학을 정확히 표현할 수 있는가?
• RQ2 고차원 조성 공간에서 오차 누적이 최소화되도록 장기 예측 정확도를 유지할 수 있는가?
• RQ3 IDT에 대한 모델 파라미터 기울기를 IDT 데이터베이스에 대응하여 훈련하기 위해 효율적으로 계산할 수 있는가?
• RQ4 IDT 기울기와 Ignition 시 온도 기울기 사이에 강한 상관관계가 존재하는가? 이는 IDT 기반의 backpropagation 최적화를 가능하게 하는가?
• RQ5 KiNet을 사용하여 새로운 조건에 대해 일반화 성능이 뛰어난 데이터 기반의 동역학 모델을 개발하고, 모델 단순화 등의 후속 응용 분야를 지원할 수 있는가?

주요 결과

• KiNet은 압력, 온도, 화학스토이키오메트릭 비율의 다양성에 관계없이 H2/air 혼합물의 자가ignition 과정을 넓은 범위에서 정확히 예측하며 강력한 일반화 성능을 입증하였다.
• 잔차 연결과 BPTT 훈련을 활용하여 장기간에 걸친 종 프로파일 예측에서 높은 정확도를 달성하였다.
• Ignition Delay Time(IDT) 기울기와 Ignition 시 온도 기울기 사이에 강한 상관관계가 관찰되어, IDT 기반 훈련을 위한 효율적인 backpropagation이 가능함을 확인하였다.
• 제안된 IDT 기울기 계산 방법은 시간 해상도가 낮은 종 측정 데이터가 제한된 상황에서도 문헌 기반 IDT 데이터에 대한 효과적인 피팅을 가능하게 하였다.
• 훈련된 KiNet 모델은 난류 연소 시뮬레이션에서의 동역학 모델 단순화 및 화학 반응 가속화 응용에 잠재적 활용 가능성을 보였다.
• 딥 러닝을 활용한 자율적이고 데이터 기반의 화학 동역학 모델 구축의 가능성을 입증하였다.