[论文解读] KiNet: A Deep Neural Network Representation of Chemical Kinetics

Weiqi Ji, Sili Deng|arXiv (Cornell University)|Aug 1, 2021

Metabolomics and Mass Spectrometry Studies参考文献 29被引用 12

一句话总结

KiNet 是一种深度神经网络，通过残差网络和时间反向传播，从实验数据中学习化学动力学，预测固定时间步长内的组成演化。它能够实现高精度的长期预测，并高效计算点火延迟时间的梯度，展现出在各种 H2/air 条件下的强泛化能力，支持数据驱动的动力学模型开发。

ABSTRACT

Deep learning is a potential approach to automatically develop kinetic models from experimental data. We propose a deep neural network model of KiNet to represent chemical kinetics. KiNet takes the current composition states and predicts the evolution of the states after a fixed time step. The long-period evolution of the states and their gradients to model parameters can be efficiently obtained by recursively applying the KiNet model multiple times. To address the challenges of the high-dimensional composition space and error accumulation in long-period prediction, the architecture of KiNet incorporates the residual network model (ResNet), and the training employs backpropagation through time (BPTT) approach to minimize multi-step prediction error. In addition, an approach for efficiently computing the gradient of the ignition delay time (IDT) to KiNet model parameters is proposed to train the KiNet against the rich database of IDT from literature, which could address the scarcity of time-resolved species measurements. The KiNet is first trained and compared with the simulated species profiles during the auto-ignition of H2/air mixtures. The obtained KiNet model can accurately predict the auto-ignition processes for various initial conditions that cover a wide range of pressures, temperatures, and equivalence ratios. Then, we show that the gradient of IDT to KiNet model parameters is parallel to the gradient of the temperature at the ignition point. This correlation enables efficient computation of the gradient of IDT via backpropagation and is demonstrated as a feasible approach for fine-tuning the KiNet against IDT. These demonstrations shall open up the possibility of building data-driven kinetic models autonomously. Finally, the trained KiNet could be potentially applied to kinetic model reduction and chemistry acceleration in turbulent combustion simulations.

研究动机与目标

• 开发一种无需依赖显式速率规则或机理的、数据驱动的深度学习框架，用于表示化学动力学。
• 实现对复杂反应体系（如 H2/air 自燃）中物种谱图的长期准确预测，覆盖不同压力、温度和当量比条件。
• 通过反向传播方法高效计算点火延迟时间（IDT）相对于模型参数的梯度，克服时间分辨物种数据稀缺的问题。
• 证明基于文献 IDT 数据库训练 KiNet 的可行性，以实现稳健的动力学模型学习。
• 支持在湍流燃烧模拟中实现动力学模型降阶和化学加速的潜在应用。

提出的方法

• KiNet 采用残差网络（ResNet）架构，以稳定训练过程，并在高维组成空间中减轻长期预测的误差累积。
• 利用时间反向传播（BPTT）在模拟物种谱图上进行训练，以最小化多步预测误差。
• 该模型预测固定时间步长内组成状态的演化，支持递归应用以实现长周期模拟。
• 提出一种高效的点火延迟时间（IDT）相对于模型参数的梯度计算方法，利用点火时刻 IDT 梯度与温度梯度之间的相关性。
• 通过结合模拟物种谱图和基于文献的 IDT 数据进行训练，以提升泛化能力和数据效率。
• 该架构支持端到端训练，其中物种谱图和 IDT 均作为监督信号使用。

实验结果

研究问题

• RQ1 深度神经网络是否能在不依赖显式动力学机理的情况下，准确表示广泛初始条件下的复杂化学动力学？
• RQ2 在高维组成空间中，如何在最小化误差累积的前提下维持长期预测的准确性？
• RQ3 能否高效计算点火延迟时间（IDT）相对于模型参数的梯度，以实现基于 IDT 数据库的训练？
• RQ4 IDT 梯度与点火时刻温度梯度之间是否存在强相关性，从而支持基于反向传播的 IDT 优化？
• RQ5 KiNet 是否可用于开发泛化能力强、可推广至未见条件的数据驱动动力学模型，并支持模型降阶等下游应用？

主要发现

• KiNet 在广泛的压力、温度和当量比范围内，对 H2/air 混合物的自燃过程实现了高精度预测，展现出强大的泛化能力。
• 通过利用残差连接和 BPTT 训练，该模型在长时间尺度上实现了物种谱图的高精度预测。
• 观察到点火延迟时间（IDT）梯度与点火时刻温度梯度之间存在强相关性，从而实现了基于反向传播的高效 IDT 训练。
• 所提出的 IDT 梯度计算方法可有效实现 KiNet 对文献 IDT 数据的微调，即使在时间分辨物种测量数据有限的情况下亦可实现。
• 训练后的 KiNet 模型在湍流燃烧模拟中的动力学模型降阶和化学加速方面展现出应用潜力。
• 该框架证明了利用深度学习构建自主、数据驱动化学动力学模型的可行性。