[논문 리뷰] Arrhenius.jl: A Differentiable Combustion SimulationPackage

Weiqi Ji, Xingyu Su외 7명|arXiv (Cornell University)|2021. 06. 19.

Advanced Combustion Engine Technologies참고 문헌 38인용 수 5

한 줄 요약

Arrhenius.jl은 자동 미분을 사용하여 화학적 연소 모델의 효율적이고 정확한 기울기 계산을 가능하게 하는 자바스크립트 기반의 미분 가능한 연소 시뮬레이션 패키지입니다. DifferentialEquations.jl, ForwardDiff.jl, Flux.jl와 통합되어 불확실성 정량화, 반응 기구 감소, 데이터 융합, 데이터 기반 모델 발견을 지원합니다. 이를 통해 JP10에 대해 수백 개의 매개변수를 가진 CRNN-HyChem 모델을 성공적으로 훈련시켜 불꽃점화 지연 시간 예측에서 높은 정확도를 달성했습니다.

ABSTRACT

Combustion kinetic modeling is an integral part of combustion simulation, and extensive studies have been devoted to developing both high fidelity and computationally affordable models. Despite these efforts, modeling combustion kinetics is still challenging due to the demand for expert knowledge and optimization against experiments, as well as the lack of understanding of the associated uncertainties. Therefore, data-driven approaches that enable efficient discovery and calibration of kinetic models have received much attention in recent years, the core of which is the optimization based on big data. Differentiable programming is a promising approach for learning kinetic models from data by efficiently computing the gradient of objective functions to model parameters. However, it is often challenging to implement differentiable programming in practice. Therefore, it is still not available in widely utilized combustion simulation packages such as CHEMKIN and Cantera. Here, we present a differentiable combustion simulation package leveraging the eco-system in Julia, including DifferentialEquations.jl for solving differential equations, ForwardDiff.jl for auto-differentiation, and Flux.jl for incorporating neural network models into combustion simulations and optimizing neural network models using the state-of-the-art deep learning optimizers. We demonstrate the benefits of differentiable programming in efficient and accurate gradient computations, with applications in uncertainty quantification, kinetic model reduction, data assimilation, and model discovery.

연구 동기 및 목표

• 대규모 매개변수 최적화에 있어 기존에 비효율적이고 정확도가 떨어지는 기울기 계산 문제를 해결하기 위해.
• 현재는 기울기 기반 시뮬레이션 도구의 부족으로 인해 잘 활용되지 않는 확률적 경량 최적화 방법(SGD) 및 현대 딥러닝 최적화 기법을 연소 모델링에 도입하기 위해.
• 물리 기반 연소 시뮬레이션을 기울기 기반 프ogramming 생태계와 통합하여 데이터 기반 반응 기구 발견 및 校정을 지원하기 위해.
• 효율적인 기울기 평가를 통해 화학 반응 동역학에서의 불확실성 정량화, 기구 감소, 데이터 융합을 촉진하기 위해.
• 기존 반응 모델링과 새로운 물리 기반 기계 학습 접근법을 모두 지원하는 오픈소스이자 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 화학 반응 동역학에서 발생하는 강한 비선형 미분방정식을 해결하기 위해 DifferentialEquations.jl을 활용하고, 정확하고 효율적인 전방 모드 자동 미분을 위해 ForwardDiff.jl를 사용합니다.
• 반응 소스 항과 전체 시뮬레이터에 이르기까지 다양한 계산 블록에서 기울기 기반 프로그래밍을 지원하여 종단 간 기울기 계산을 가능하게 합니다.
• Flux.jl을 통한 신경망 통합을 통해 화학 반응 신경망(CRNNs)과 같은 하이브리드 모델을 구축하며, 반응 속도를 학습 가능한 가중치로 매개변수화합니다.
• 훈련 중에 스토이히오메트릭 계수를 원소 보존 공간에 투영하여 물리적 제약 조건(예: 원소 보존)을 강제 적용합니다.
• 스토이히오메트릭 계수에 정규화를 적용하고, 핵심 매개변수(예: JP10 반응물 계수를 -1로 고정)를 고정하여 수치적 안정성과 수렴성을 향상시킵니다.
• 훈련 및 검증을 위한 CRNN 모델의 다양한 열역학 조건(1–60 atm, 1100–1800 K, φ = 0.5–1.5)을 생성하기 위해 라틴 하이퍼큐브 샘플링을 사용합니다.

실험 결과

연구 질문

• RQ1 Arrhenius.jl과 같은 고성능 시뮬레이션 패키지에서 기울기 기반 프로그래밍이 복잡한 연소 동역학 모델에 대해 효율적이고 정확한 기울기 계산을 가능하게 할 수 있는가?
• RQ2 Arrhenius.jl은 JP10와 같은 복잡한 연료에 대해 실험 데이터에서 기반한 화학 기구의 데이터 기반 발견을 어느 정도 지원할 수 있는가?
• RQ3 Arrhenius.jl로 훈련된 CRNN 모델은 기존의 기존 기구와 비교해 불꽃점화 지연 시간을 얼마나 잘 재현하는가?
• RQ4 Arrhenius.jl은 고차원 매개변수 공간에서 불확실성 정량화와 기구 감소를 효과적으로 지원할 수 있는가?
• RQ5 자동 미분와 결합된 물리 기반 신경망의 통합이 반응 기구 모델의 일반화 및 외삽 능력을 향상시킬 수 있는가?

주요 결과

• Arrhenius.jl은 복잡한 연소 동역학 모델에 대해 종단 간 기울기 기반 시뮬레이션을 성공적으로 구현하여 수백 개의 모델 매개변수에서 정확하고 효율적인 기울기 계산을 달성했습니다.
• Arrhenius.jl로 훈련된 CRNN-HyChem 모델은 다양한 조건(1–60 atm, 1100–1800 K, φ = 0.5–1.5)에서 JP10의 불꽃점화 지연 시간을 정확하게 예측하며, 원본 HyChem 모델과 강한 일치를 보였습니다.
• CRNN 모델에서 학습된 반응 경로는 주로 H-탈리화 반응을 포함하고 있으며, 전문가가 도출한 기구와 일치하지만 정량적으로는 다릅니다. 이는 새로운 기구 발견 잠재력이 있음을 시사합니다.
• 패키지는 유한 차분 방법이 아닌 자동 미분 기반 기법을 통해 수백 개의 매개변수를 가진 복잡한 모델 훈련을 가능하게 했습니다.
• 물리적 제약 조건(예: 원소 보존)과 정규화의 통합은 훈련 중 수치적 안정성과 수렴성을 향상시켰습니다.
• Arrhenius.jl는 신뢰할 수 있는 기울기를 제공함으로써 불확실성 정량화, 기구 감소, 데이터 융합 등의 고급 워크플로우를 지원합니다.