[論文レビュー] Kinetics-Informed Neural Networks

Gabriel S. Gusmão, Adhika P. Retnanto+2 more|arXiv (Cornell University)|Nov 30, 2020

Machine Learning in Materials Science被引用数 2

ひとこと要約

本論文は、微視的速度論的モデルを制約付き常微分方程式（ODE）を用いて解くために、基本関数としてフィードフォワードニューラルネットワークを用いる物理情報付き機械学習フレームワーク、Kinetics-Informed Neural Networks（KINNs）を提案する。正則化された多目的最適化設定においてニューラルネットワークと速度論的パラメータを同時に訓練することで、ノイズが混入した合成一時的データからも、正確に速度論的パラメータおよびスケーリング因子を同定でき、触媒反応における逆速度論的問題に対して高いロバスト性を示す。

ABSTRACT

Chemical kinetics and reaction engineering consists of the phenomenological framework for the disentanglement of reaction mechanisms, optimization of reaction performance and the rational design of chemical processes. Here, we utilize feed-forward artificial neural networks as basis functions to solve ordinary differential equations (ODEs) constrained by differential algebraic equations (DAEs) that describe microkinetic models (MKMs). We present an algebraic framework for the mathematical description and classification of reaction networks, types of elementary reaction, and chemical species. Under this framework, we demonstrate that the simultaneous training of neural nets and kinetic model parameters in a regularized multi-objective optimization setting leads to the solution of the inverse problem through the estimation of kinetic parameters from synthetic experimental data. We analyze a set of scenarios to establish the extent to which kinetic parameters can be retrieved from transient kinetic data, and assess the robustness of the methodology with respect to statistical noise. This approach to inverse kinetic ODEs can assist in the elucidation of reaction mechanisms based on transient data.

研究の動機と目的

• 微視的速度論的モデルに物理法則を統合した代替近似（SA）フレームワークの構築を目的とする。
• 中間種の濃度が直接測定できない場合を含め、一時的実験データから速度論的パラメータを推定する逆問題に対処することを目的とする。
• 物理的正則化を組み込むことで、速度論的データにおける統計的ノイズに対するロバスト性を向上させることを目的とする。
• 複雑な反応ネットワークにおける分離スペクトロスコピック信号のための、速度論的パラメータとキャリブレーション係数の両方の推定を可能とすることを目的とする。
• 一時的速度論的データを用いた機構解明に適したスケーラブルで微分可能なフレームワークを提供することを目的とする。

提案手法

• 物質の種類、相状態、および基底反応タイプを分類するシステムを用いて反応ネットワークを形式化する。
• フィードフォワードニューラルネットワークを基底関数として用い、微視的速度論的モデルにおける表面種の時間依存的被覆率を近似する。
• 構造的制約によりニューラルネットワークに初期条件（ICs）を強制し、ODEと物理的に整合性を保つ。
• 補助的ニューラルネットワークを導入し、特徴的な時間スケールを学習することで、剛性のあるODE系における数値的安定性を向上させる。
• 表面被覆率分率の正規化を実現するため、体積相および表面種を別々のニューラルネットワークに分離し、DAE型制約を埋め込む。
• 正則化を組み込んだ多目的最適化フレームワークにおいて、ニューラルネットワークの重みと速度論的パラメータを同時に訓練し、物理的モデルの整合性とデータ適合性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、物理的制約を尊重しながら、前向きおよび逆問題の微視的速度論的ODEを解くための有効な基底関数として使用可能だろうか？
• RQ2 KINNsは、中間種が直接観測できない場合でも、合成的一時的データから速度論的パラメータをどれほど正確に回復できるだろうか？
• RQ3 統計的ノイズが、KINNsにおけるパラメータ推定の精度およびロバスト性に与える影響は何か？
• RQ4 KINNsは、分離スペクトロスコピック信号のための速度論的パラメータとスケーリング係数を同時に推定できるだろうか？
• RQ5 多目的最適化における正則化パラメータは、逆速度論的問題における訓練のガイドラインおよび一般化性能の向上にどの程度寄与するだろうか？

主な発見

• KINNsは、初期条件の構造的強制を用いることで、ニューラルネットワークを基底関数として用いて微視的速度論的ODEの前向き問題を効果的に解ける。
• ノイズが混入した合成的一時的データからも、正確な逆パラメータ推定が可能であり、ロバスト性が示された。
• KINNsは、スペクトロスコピック信号から表面被覆率へのマッピングに必要なスケーリング係数と速度論的パラメータを同時に推定でき、分離された実験データへの応用範囲を拡大した。
• 時間スケール学習のための補助ネットワークの導入により、特に剛性のあるODE系において数値的安定性が向上した。
• 多目的フレームワークにおける正則化パラメータにより、物理的モデルの整合性とデータ補間の間で制御可能なトレードオフが実現され、Pareto集合の探索や訓練停止基準の設定が可能になった。
• 複雑なメカニズム（例：dcs（解離的カーバイド表面）メカニズム）においても、本手法は速度論的パラメータおよびスケーリング係数の信頼性のある回復を示した。