[論文レビュー] KiNet: A Deep Neural Network Representation of Chemical Kinetics

Weiqi Ji, Sili Deng|arXiv (Cornell University)|Aug 1, 2021

Metabolomics and Mass Spectrometry Studies参考文献 29被引用数 12

ひとこと要約

KiNet は、残留ネットワークと時間遅延逆伝播を用いて、固定時間ステップごとの組成の変化を予測することで、実験データから化学速度論を学習する深層ニューラルネットワークである。長期予測の精度が高く、 igniition delay time（自己着火遅延時間）の勾配計算が効率的であり、多様な H2/air 条件において優れた一般化性能を示し、データ駆動型速度論モデルの構築を可能にする。

ABSTRACT

Deep learning is a potential approach to automatically develop kinetic models from experimental data. We propose a deep neural network model of KiNet to represent chemical kinetics. KiNet takes the current composition states and predicts the evolution of the states after a fixed time step. The long-period evolution of the states and their gradients to model parameters can be efficiently obtained by recursively applying the KiNet model multiple times. To address the challenges of the high-dimensional composition space and error accumulation in long-period prediction, the architecture of KiNet incorporates the residual network model (ResNet), and the training employs backpropagation through time (BPTT) approach to minimize multi-step prediction error. In addition, an approach for efficiently computing the gradient of the ignition delay time (IDT) to KiNet model parameters is proposed to train the KiNet against the rich database of IDT from literature, which could address the scarcity of time-resolved species measurements. The KiNet is first trained and compared with the simulated species profiles during the auto-ignition of H2/air mixtures. The obtained KiNet model can accurately predict the auto-ignition processes for various initial conditions that cover a wide range of pressures, temperatures, and equivalence ratios. Then, we show that the gradient of IDT to KiNet model parameters is parallel to the gradient of the temperature at the ignition point. This correlation enables efficient computation of the gradient of IDT via backpropagation and is demonstrated as a feasible approach for fine-tuning the KiNet against IDT. These demonstrations shall open up the possibility of building data-driven kinetic models autonomously. Finally, the trained KiNet could be potentially applied to kinetic model reduction and chemistry acceleration in turbulent combustion simulations.

研究の動機と目的

• 明示的な速度定数則やメカニズムに依存せずに、化学速度論を表現するデータ駆動型の深層学習フレームワークの構築を目的とする。
• H2/air 自己着火反応のような複雑な反応系において、圧力、温度、ストイキオメトリック比の変動にわたる種のプロファイルの長期的かつ高精度な予測を可能にする。
• 時間分解能の低い種の測定データの不足を補うために、自己着火遅延時間（IDT）のモデルパラメータに関する勾配を効率的に計算する手法を提供する。
• 文献ベースの IDT データベースを用いた KiNet の学習可能性を実証し、頑健な速度論モデル学習の実現可能性を示す。
• 速度論モデルの簡略化や乱流燃焼シミュレーションにおける化学反応の加速への応用可能性を促進する。

提案手法

• 高次元の組成空間における長期予測の安定性を高めるために、訓練を安定化し誤差蓄積を軽減するため、残留ネットワーク（ResNet）アーキテクチャを KiNet が採用する。
• シミュレートされた種のプロファイルの学習中に、複数ステップの予測誤差を最小化するために、時間遅延逆伝播（BPTT）を用いる。
• 固定時間ステップごとに組成状態の変化を予測することで、長期間にわたるシミュレーションに再帰的に適用可能である。
• 自己着火遅延時間（IDT）のモデルパラメータに関する勾配を効率的に計算するための手法を提案し、着火時の温度勾配と IDT 勾配の相関関係を活用する。
• 一般化性能とデータ効率を向上させるために、シミュレートされた種のプロファイルと文献ベースの IDT データの両方を用いてモデルを学習する。
• 種のプロファイルと IDT の両方が教師信号として使用可能なエンドツーエンドの学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的な速度論的メカニズムなしに、広範な初期条件の範囲で複雑な化学速度論を深層ニューラルネットワークが高精度に表現できるか？
• RQ2 高次元の組成空間において、誤差蓄積を最小限に抑えながら長期予測の精度を維持する方法は何か？
• RQ3 IDT のモデルパラメータに関する勾配を、IDT データベースに適合させるために効率的に計算できるか？
• RQ4 IDT の勾配と着火時の温度勾配の間に強い相関関係があるか。これにより、IDT に基づく逆伝播による最適化が可能になるか？
• RQ5 KiNet を用いて、未観測の条件下でも良好に一般化するデータ駆動型速度論モデルを開発でき、モデル簡略化などの下流応用を支援できるか？

主な発見

• KiNet は、圧力、温度、ストイキオメトリック比の広範な範囲において、H2/air 系の自己着火プロセスを高精度に予測し、優れた一般化性能を示した。
• 残留接続と BPTT 学習を活用することで、長時間にわたる種のプロファイルの予測において高い精度を達成した。
• 自己着火遅延時間（IDT）の勾配と着火時の温度勾配の間に強い相関関係が観測され、IDT に基づく効率的な逆伝播による学習が可能となった。
• 提案された IDT 勾配計算手法により、時間分解能の低い種の測定データしか入手できない状況でも、文献ベースの IDT データに効果的にフィットする学習が可能となった。
• 学習済みの KiNet モデルは、乱流燃焼シミュレーションにおける速度論モデルの簡略化や化学反応の加速に応用可能な可能性を示した。
• 深層学習を用いた自律的かつデータ駆動型の化学速度論モデルの構築が、本フレームワークによって実現可能であることが示された。