[論文レビュー] Machine Learning Approaches to Learn HyChem Models

Weiqi Ji, Julian Zanders+2 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Combustion Engine Technologies参考文献 35被引用数 6

ひとこと要約

本論文は、点火遅延時間データを用いてジェット燃料F-24のHyChemモデルを最適化するための確率的勾配降下法（SGD）機械学習手法を提案する。化学速度論モデルをニューラルネットワークとして扱い、計算コストを遺伝的アルゴリズムと比較して1,000倍削減するとともに、正則化による機構的解釈可能性を保持しながら低温域の精度を向上させる。

ABSTRACT

The HyChem approach has recently been proposed for modeling high-temperature combustion of real, multi-component fuels. The approach combines lumped reaction steps for fuel thermal and oxidative pyrolysis with detailed chemistry for the oxidation of the resulting pyrolysis products. However, the approach usually shows substantial discrepancies with experimental data within the Negative Temperature Coefficient (NTC) regime, as the low-temperature chemistry is more fuel-specific than high-temperature chemistry. This paper proposes a machine learning approach to learn the HyChem models that can cover both high-temperature and low-temperature regimes. Specifically, we develop a HyChem model using the experimental datasets of ignition delay times covering a wide range of temperatures and equivalence ratios. The chemical kinetic model is treated as a neural network model, and we then employ stochastic gradient descent (SGD), a technique that was developed for deep learning, for the training. We demonstrate the approach in learning the HyChem model for F-24, which is a Jet-A derived fuel, and compare the results with previous work employing genetic algorithms. The results show that the SGD approach can achieve comparable model performance with genetic algorithms but the computational cost is reduced by 1000 times. In addition, with regularization in SGD, the SGD approach changes the kinetic parameters from their original values much less than genetic algorithm and is thus more likely to retrain mechanistic meanings. Finally, our approach is built upon open-source packages and can be applied to the development and optimization of chemical kinetic models for internal combustion engine simulations.

研究の動機と目的

• 遺伝的アルゴリズムに基づく最適化における高い計算コストと一般化能力の限界を解消すること。
• 低温化学が燃料に強く依存する特性を示す負温度係数（NTC）領域におけるモデル精度の向上。
• 点火遅延時間データのみから学習可能なスケーラブルで効率的かつ解釈可能なHyChemモデルの学習手法の開発。
• オープンソースツールを用いて、内部燃焼エンジンシミュレーションにおけるデータ駆動型速度論モデリングの実用的応用を可能にすること。

提案手法

• 化学速度論機構を単一隠れ層を持つ深層ニューラルネットワークとして扱い、深層学習最適化手法の適用を可能にする。
• ミニバッチ更新とトレーニングデータのランダムシャッフルを用いた確率的勾配降下法（SGD）を採用し、熱分解副モデル内の速度定数を最適化する。
• 過学習を防ぎ一般化性能を向上させるために、早期停止や交差検証などの正則化手法を適用する。
• 広範な温度範囲と当量比における96件の点火遅延時間（IDT）測定値からなるデータセットを用いてモデルを学習する。
• 骨格的ジェットA-HyChemモデルをベースとし、熱分解ステップの速度定数をSGDで最適化して実験的IDTに一致させる。
• オープンソースパッケージを用いてフレームワークを実装し、再現性と他の燃料・速度論系への拡張性を確保する。

実験結果

リサーチクエスチョン

• RQ1 点火遅延時間データのみを用いて、確率的勾配降下法（SGD）を実用的な実燃料向けHyChemモデル最適化に効果的に適用できるか。
• RQ2 高温域および低温域における精度を比較した場合、SGDベースの最適化は遺伝的アルゴリズムに比べてどの程度優れているか。
• RQ3 SGDにおける正則化は、遺伝的アルゴリズムと比較して、元のベースモデルの機構的整合性をどの程度保持するか。
• RQ4 HyChemモデル最適化において、SGDは遺伝的アルゴリズムに比べてどの程度計算コストを削減できるか。
• RQ5 SGDで最適化されたモデルは、遺伝的アルゴリズムで学習されたモデルよりも、未観測の条件下での一般化性能が優れているか。

主な発見

• SGDで最適化されたF-24用HyChemモデルは、全温度域で遺伝的アルゴリズムで最適化されたモデルと同等の精度を達成しており、特に負温度係数（NTC）領域で顕著な性能向上を示している。
• SGDアプローチの計算コストは遺伝的アルゴリズムと比較して約1,000倍削減され、計算単位数は約100単位（遺伝的アルゴリズムの約105単位）にまで減少した。
• SGDにおける正則化は、元の速度定数にわずかな変更しか加えない（遺伝的アルゴリズムが引き起こす変更と比較して顕著に小さい）ため、機構的解釈可能性が良好に保持されている。
• 内蔵された正則化のおかげでモデルの一般化性能が向上し、安定した検証損失と早期停止により過学習が防止されている。
• SGDで最適化されたモデルは、約60エポックで検証損失が飽和に達し、最良のパフォーマンスを示すチェックポイントは58エポック目に選択された。
• 本手法はオープンソースツールを用いて実装されており、エンジンシミュレーションにおける他の複雑な速度論系や燃料への容易な拡張が可能である。