[論文レビュー] Arrhenius.jl: A Differentiable Combustion SimulationPackage

Weiqi Ji, Xingyu Su+7 more|arXiv (Cornell University)|Jun 19, 2021

Advanced Combustion Engine Technologies参考文献 38被引用数 5

ひとこと要約

Arrhenius.jl は Julia で構築された微分可能燃焼シミュレーションパッケージであり、自動微分を用いて化学速度論的モデルの効率的かつ高精度な勾配計算を可能にする。DifferentialEquations.jl、ForwardDiff.jl、Flux.jl と統合されており、不確実性評価、速度論的モデルの簡略化、データ統合、データ駆動型モデルの発見を支援する。JP10のCRNN-HyChemモデルを数百のパラメータで成功裏に訓練し、 igniion delay time の予測において高い精度を達成した。

ABSTRACT

Combustion kinetic modeling is an integral part of combustion simulation, and extensive studies have been devoted to developing both high fidelity and computationally affordable models. Despite these efforts, modeling combustion kinetics is still challenging due to the demand for expert knowledge and optimization against experiments, as well as the lack of understanding of the associated uncertainties. Therefore, data-driven approaches that enable efficient discovery and calibration of kinetic models have received much attention in recent years, the core of which is the optimization based on big data. Differentiable programming is a promising approach for learning kinetic models from data by efficiently computing the gradient of objective functions to model parameters. However, it is often challenging to implement differentiable programming in practice. Therefore, it is still not available in widely utilized combustion simulation packages such as CHEMKIN and Cantera. Here, we present a differentiable combustion simulation package leveraging the eco-system in Julia, including DifferentialEquations.jl for solving differential equations, ForwardDiff.jl for auto-differentiation, and Flux.jl for incorporating neural network models into combustion simulations and optimizing neural network models using the state-of-the-art deep learning optimizers. We demonstrate the benefits of differentiable programming in efficient and accurate gradient computations, with applications in uncertainty quantification, kinetic model reduction, data assimilation, and model discovery.

研究の動機と目的

• 大規模なパrameter最適化において、燃焼速度論的モデリングにおける非効率的かつ不正確な勾配計算の課題に対処すること。
• 現在、微分可能シミュレーションツールの不足により活用が不十分な、確率的勾配降下法（SGD）や現代のディープラーニング最適化手法を燃焼モデリングに活用できること。
• 物理ベースの燃焼シミュレーションを微分可能プログラミングエコシステムと統合し、速度論的メカニズムのデータ駆動型発見とキャリブレーションを支援すること。
• 効率的な勾配評価を用いて、化学速度論における不確実性評価、モデル簡略化、データ統合を促進すること。
• 従来の速度論モデリングと、新たな物理情報付き機械学習アプローチを両方サポートするオープンソースで拡張可能なフレームワークを提供すること。

提案手法

• Julia のエコシステムを活用し、化学速度論に由来する剛性のある常微分方程式を解くために DifferentialEquations.jl を使用するとともに、正確かつ効率的な前向きモードの自動微分を実現する ForwardDiff.jl を活用する。
• 計算ブロック（例：反応源項）および完全なシミュレータにわたり微分可能プログラミングをサポートし、エンドツーエンドの勾配計算を可能にする。
• Flux.jl を介してニューラルネットワークを統合し、反応速度が学習可能な重みでパrameter化されたハイブリッドモデル（例：化学反応ニューラルネットワーク（CRNN））を構築する。
• トレーニング中に化学计量係数を元素保存の空間に射影することで、物理的制約（例：元素保存則）を強制する。
• 化学计量係数に正則化を施し、重要なパrameter（例：JP10の反応物係数を -1 に固定）を固定することで、数値的安定性と収束性を向上させる。
• ラテンハイパーキューブサンプリングを用いて、CRNNモデルのトレーニングおよび検証用に多様な熱力学的条件（1–60 atm、1100–1800 K、φ = 0.5–1.5）を生成する。

実験結果

リサーチクエスチョン

• RQ1 高性能なシミュレーションパッケージである Arrhenius.jl における微分可能プログラミングが、複雑な燃焼速度論的モデルにおける効率的かつ高精度な勾配計算を可能にするか。
• RQ2 Arrhenius.jl は、JP10 などの複雑な燃料に関して、実験データから速度論的メカニズムのデータ駆動型発見をどの程度支援できるか。
• RQ3 Arrhenius.jl を用いてトレーニングされた CRNN モデルは、既存の速度論的メカニズムと比較して、イグニッション遅延時間をどの程度正確に再現できるか。
• RQ4 Arrhenius.jl は高次元パrameter空間における不確実性評価およびモデル簡略化を効果的に支援できるか。
• RQ5 自動微分と物理情報付きニューラルネットワークを統合することで、速度論的モデルの一般化能力および外挿能力が向上するか。

主な発見

• Arrhenius.jl は、数百のモデルパラメータを含む複雑な燃焼システムのエンドツーエンド微分可能シミュレーションを成功裏に実現し、正確かつ効率的な勾配計算を達成した。
• Arrhenius.jl を用いてトレーニングされた CRNN-HyChem モデルは、広範な条件下（1–60 atm、1100–1800 K、φ = 0.5–1.5）で JP10 のイグニッション遅延時間を高精度に予測し、元の HyChem モデルと強い一致を示した。
• CRNN モデルで学習された反応経路の大部分は、熟練研究者によって導出されたものと一致する H-抽出反応であったが、定量的には異なる特徴を示しており、新規メカニズムの発見の可能性を示唆した。
• 本パッケージは、有限差分法では不可能な自動微分を用いることで、数百のパラメータを持つ複雑なモデルのトレーニングを可能にした。
• 物理的制約（例：元素保存則）の統合と正則化により、トレーニング中の数値的安定性と収束性が向上した。
• Arrhenius.jl は、最適化のための信頼性の高い勾配を提供することで、不確実性評価、モデル簡略化、データ統合といった高度なワークフローを可能にした。