[论文解读] Kinetics-Informed Neural Networks

Gabriel S. Gusmão, Adhika P. Retnanto+2 more|arXiv (Cornell University)|Nov 30, 2020

Machine Learning in Materials Science被引用 2

一句话总结

该论文提出了一种基于物理约束的神经网络框架——动力学信息神经网络（KINNs），利用前馈神经网络作为基函数，通过约束型常微分方程（ODE）求解微观动力学模型。通过在正则化多目标优化设置下联合训练神经网络与动力学参数，KINNs 能够从含噪声的合成瞬态数据中准确恢复动力学参数和缩放因子，展现出在催化反应中逆向动力学问题上的强鲁棒性。

ABSTRACT

Chemical kinetics and reaction engineering consists of the phenomenological framework for the disentanglement of reaction mechanisms, optimization of reaction performance and the rational design of chemical processes. Here, we utilize feed-forward artificial neural networks as basis functions to solve ordinary differential equations (ODEs) constrained by differential algebraic equations (DAEs) that describe microkinetic models (MKMs). We present an algebraic framework for the mathematical description and classification of reaction networks, types of elementary reaction, and chemical species. Under this framework, we demonstrate that the simultaneous training of neural nets and kinetic model parameters in a regularized multi-objective optimization setting leads to the solution of the inverse problem through the estimation of kinetic parameters from synthetic experimental data. We analyze a set of scenarios to establish the extent to which kinetic parameters can be retrieved from transient kinetic data, and assess the robustness of the methodology with respect to statistical noise. This approach to inverse kinetic ODEs can assist in the elucidation of reaction mechanisms based on transient data.

研究动机与目标

• 开发一种代理近似（SA）框架，将物理定律整合到神经网络训练中，以适用于微观动力学模型。
• 解决从瞬态实验数据中估计动力学参数的逆问题，特别是当中间物种浓度无法直接测量时。
• 通过引入基于物理的正则化，提高动力学数据中统计噪声的鲁棒性。
• 实现对复杂反应网络中去卷积光谱信号的缩放因子与动力学参数的联合估计。
• 提供一种可扩展、可微分的框架，用于利用瞬态动力学数据阐明反应机理。

提出的方法

• 使用物种类型、相态和基元反应类型的分类系统形式化表示反应网络。
• 采用前馈神经网络作为基函数，近似微观动力学模型中表面物种覆盖度的时间依赖性。
• 通过结构化约束在神经网络中强制施加初始条件（ICs），确保与 ODE 的物理解释一致性。
• 引入辅助神经网络以学习特征时间尺度，提升刚性 ODE 系统中的数值稳定性。
• 通过将体相与表面物种分别分配至独立的神经网络，实现表面覆盖度分数的归一化，嵌入 DAE 类型约束。
• 在具有正则化的多目标优化框架中，同步训练神经网络权重与动力学参数，以平衡物理解释一致性与数据拟合度。

实验结果

研究问题

• RQ1 神经网络能否作为基函数有效求解满足物理解释约束的正向与逆向微观动力学 ODE？
• RQ2 KINNs 在合成瞬态数据中恢复动力学参数的性能如何，特别是在中间物种不可直接观测时？
• RQ3 统计噪声对 KINNs 中参数估计的准确性与鲁棒性有何影响？
• RQ4 KINNs 是否能够同时估计去卷积光谱信号的缩放因子与动力学参数？
• RQ5 多目标优化中的正则化参数在指导训练与提升逆向动力学问题泛化能力方面，其作用程度如何？

主要发现

• KINNs 通过结构化初始条件约束成功求解了微观动力学 ODE 的正向问题，使用神经网络作为基函数。
• 该方法即使在加入统计噪声的情况下，也能从合成瞬态数据中实现高精度的逆向参数估计，展现出强鲁棒性。
• KINNs 能够联合估计动力学参数与将光谱信号映射到表面覆盖度的缩放因子，扩展了其在去卷积实验数据中的适用性。
• 引入辅助网络学习时间尺度显著提升了数值稳定性，尤其在刚性 ODE 系统中表现突出。
• 多目标优化框架中的正则化参数实现了物理解释一致性与数据插值之间的可控权衡，支持帕累托最优集探索与训练终止判据设定。
• 该方法在复杂机理（如 dcs（解离碳化物表面）机理）上的验证表明，能够可靠地恢复动力学参数与缩放因子。