[논문 리뷰] Machine Learning Approaches to Learn HyChem Models

Weiqi Ji, Julian Zanders외 2명|arXiv (Cornell University)|2021. 01. 01.

Advanced Combustion Engine Technologies참고 문헌 35인용 수 6

한 줄 요약

이 논문은 점화 지연 시간 데이터를 사용하여 항공기 연료 F-24를 위한 HyChem 모델을 최적화하기 위해 확률적 경사 하강법(SGD) 기반 기계 학습 접근법을 제안한다. 화학 동역학 모델을 신경망으로 간주함으로써 계산 비용을 기존 유전 알고리즘 대비 1,000배 감소시키면서도 저온 영역의 정확도를 향상시키고, 정규화를 통해 기계적 해석 가능성을 유지한다.

ABSTRACT

The HyChem approach has recently been proposed for modeling high-temperature combustion of real, multi-component fuels. The approach combines lumped reaction steps for fuel thermal and oxidative pyrolysis with detailed chemistry for the oxidation of the resulting pyrolysis products. However, the approach usually shows substantial discrepancies with experimental data within the Negative Temperature Coefficient (NTC) regime, as the low-temperature chemistry is more fuel-specific than high-temperature chemistry. This paper proposes a machine learning approach to learn the HyChem models that can cover both high-temperature and low-temperature regimes. Specifically, we develop a HyChem model using the experimental datasets of ignition delay times covering a wide range of temperatures and equivalence ratios. The chemical kinetic model is treated as a neural network model, and we then employ stochastic gradient descent (SGD), a technique that was developed for deep learning, for the training. We demonstrate the approach in learning the HyChem model for F-24, which is a Jet-A derived fuel, and compare the results with previous work employing genetic algorithms. The results show that the SGD approach can achieve comparable model performance with genetic algorithms but the computational cost is reduced by 1000 times. In addition, with regularization in SGD, the SGD approach changes the kinetic parameters from their original values much less than genetic algorithm and is thus more likely to retrain mechanistic meanings. Finally, our approach is built upon open-source packages and can be applied to the development and optimization of chemical kinetic models for internal combustion engine simulations.

연구 동기 및 목표

• 유전 알고리즘 기반 최적화의 높은 계산 비용과 일반화 능력의 한계를 해결하기 위해.
• 저온 영역에서 화학 반응이 연료에 매우 민감한 특성을 띠는 부정적 온도 계수(NTC) 영역에서의 모델 정확도를 향상시키기 위해.
• 점화 지연 시간 데이터만을 사용하여 확장 가능하고 효율적이며 해석 가능한 HyChem 모델 학습 방법을 개발하기 위해.
• 내부 연소 엔진 시뮬레이션에서 데이터 기반 동역학 모델링의 실용적 적용을 가능하게 하기 위해 오픈소스 도구를 활용한다.

제안 방법

• 화학 동역학 메커니즘을 단일 은닉층을 가진 딥 네ural 네트워크로 간주하여 딥 러닝 최적화 기법을 적용할 수 있도록 한다.
• 작은 배치(mini-batch) 업데이트와 훈련 데이터의 무작위 섞기를 적용한 확률적 경사 하강법(SGD)을 사용하여 열분해 부분 모델의 속도 상수를 최적화한다.
• 과적합 방지를 위해 조기 정지와 교차 검증과 같은 정규화 기법을 적용하여 일반화 성능을 향상시킨다.
• 넓은 온도 범위와 화학 스토이키오메트릭 비율을 포함한 총 96개의 점화 지연 시간(IDT) 측정치로 구성된 데이터셋을 사용해 모델을 훈련한다.
• 기본으로 스크리닝된 Jet-A HyChem 모델을 사용하며, 열분해 단계의 kinetic 파rameter를 SGD를 통해 실험적 IDT에 맞추어 최적화한다.
• 오픈소스 패키지를 사용하여 프레임워크를 구현함으로써 재현 가능성과 다른 연료 및 동역학 시스템으로의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 점화 지연 시간 데이터만을 사용하여 SGD를 실연료를 위한 HyChem 모델 최적화에 효과적으로 적용할 수 있는가?
• RQ2 고온 및 저온 영역에서의 정확도 측면에서 SGD 기반 최적화는 기존 유전 알고리즘 대비 어떤 성능을 보이는가?
• RQ3 SGD에서의 정규화는 기존 기본 모델의 기계적 해석 가능성에 얼마나 큰 영향을 미치는가? 유전 알고리즘 대비 얼마나 유지되는가?
• RQ4 HyChem 모델 최적화 시 SGD의 계산 비용은 기존 유전 알고리즘 대비 얼마나 감소하는가?
• RQ5 SGD 최적화 모델은 유전 알고리즘으로 학습된 모델보다 더 나은 일반화 성능을 보일 수 있는가?

주요 결과

• SGD로 최적화된 F-24용 HyChem 모델은 모든 온도 영역에서 기존 유전 알고리즘 최적화 모델과 유사한 정확도를 달성했으며, 특히 부정적 온도 계수(NTC) 영역에서 뚜렷한 성능 향상을 보였다.
• SGD 접근법의 계산 비용은 기존 유전 알고리즘 대비 약 1,000배 감소하여 약 100개의 계산 단위로, 기존의 약 105개의 계산 단위에 비해 현저히 낮아졌다.
• SGD에서의 정규화는 원래 동역학 상수에 미치는 영향이 매우 미미하여, 기존 유전 알고리즘에 의해 유도되는 변화보다 훨씬 작았으며, 기계적 해석 가능성의 유지에 기여했다.
• 내장된 정규화 덕분에 모델의 일반화 성능이 향상되었으며, 안정적인 검증 손실과 조기 정지를 통해 과적합이 방지됨을 확인할 수 있었다.
• SGD 최적화 모델은 약 60 에포크에서 검증 손실이 정점에 도달했으며, 최고 성능을 보인 체크포인트는 58번째 에포크에서 선택되었다.
• 이 방법은 오픈소스 도구를 사용하여 구현되었으며, 엔진 시뮬레이션에서 다른 복잡한 동역학 시스템과 연료로의 확장이 용이하다.