[논문 리뷰] Solving multiscale dynamical systems by deep learning

Junjie Yao, Yuxiao Yi외 6명|arXiv (Cornell University)|2024. 01. 02.

Advanced Mathematical Modeling in Engineering인용 수 4

한 줄 요약

이 논문은 고차원 다스케일 동역계 시스템의 대표성 있는 학습 데이터를 효율적으로 생성하기 위해 몬테카를로 샘플링과 미분방정식 기반 진화를 조합한 딥러닝 방법인 DeePODE를 소개한다. 강한 미분방정식의 내재된 역학을 활용함으로써 DeePODE는 차원의 극복 문제를 해결하고, 난류flame과 배터리 점화와 같은 복잡한 시스템에 대해 깊이 있는 신경망이 일반화할 수 있도록 하여 전통적 해법보다 수십만 배 빠른 속도로 높은 정확도를 달성한다.

ABSTRACT

Multiscale dynamical systems, modeled by high-dimensional stiff ordinary differential equations (ODEs) with wide-ranging characteristic timescales, arise across diverse fields of science and engineering, but their numerical solvers often encounter severe efficiency bottlenecks. This paper introduces a novel DeePODE method, which consists of an Evolutionary Monte Carlo Sampling method (EMCS) and an efficient end-to-end deep neural network (DNN) to predict multiscale dynamical systems. We validate this finding across dynamical systems from ecological systems to reactive flows, including a predator-prey model, a power system oscillation, a battery electrolyte thermal runaway, and turbulent reaction-diffusion systems with complex chemical kinetics. The method demonstrates robust generalization capabilities, allowing pre-trained DNN models to accurately predict the behavior in previously unseen scenarios, largely due to the delicately constructed dataset. While theoretical guarantees remain to be established, empirical evidence shows that DeePODE achieves the accuracy of implicit numerical schemes while maintaining the computational efficiency of explicit schemes. This work underscores the crucial relationship between training data distribution and neural network generalization performance. This work demonstrates the potential of deep learning approaches in modeling complex dynamical systems across scientific and engineering domains.

연구 동기 및 목표

• 과학 및 공학 분야에서 다양한 시간스케일을 가진 고차원 강한 ODE를 시뮬레이션할 때 발생하는 계산적 병목 현상을 해결하기 위해.
• 다스케일 시스템의 딥러닝 대체 모델(DNN 서rogate)을 위한 학습 데이터 생성에서 발생하는 차원의 극복 문제를 극복하기 위해.
• 기존 초기 조건과 복잡한 시공간 역학을 포함한 새로운 조건에서도 정확도를 유지할 수 있는 일반화 가능한 DNN 서rogate 모델을 개발하기 위해.
• 딥러닝을 활용하여 난류flame과 전력 시스템 진동과 같은 다스케일 시스템을 효율적이고 안정적이며 정확하게 시뮬레이션할 수 있도록 하기 위해.
• 시스템 역학을 샘플링 과정에 통합함으로써 데이터 효율성과 모델 일반화 능력 향상이 가능함을 입증하기 위해.

제안 방법

• DeePODE는 몬테카를로 샘플링과 짧은 ODE 통합을 조합한 글로벌 다스케일 샘플링 전략을 사용하여 샘플에 역학적 정보를 부여한다.
• 임의로 샘플된 초기 상태는 짧은 시간 동안 governing ODE에 따라 진화하여 느린 역학 영역에 집중되며, 데이터의 대표성을 향상시킨다.
• ODE의 내재된 진화를 활용하여 국소적 시스템 특성을 적응적으로 포착함으로써 고차원 공간에서의 샘플링 비효율성을 감소시킨다.
• 진화된 샘플 세트를 기반으로 딥러닝 신경망을 훈련시켜 상태 전이 함수를 학습시켜 향후 상태를 신속하게 예측할 수 있도록 한다.
• 오랜 경로 데이터가 필요로 하는 것을 방지하기 위해 ODE 진화를 통해 의미 있는 다스케일 인식 학습 데이터를 생성함으로써 접근법을 개선한다.
• 특히 고해상도가 필요한 영역에서 반응 속도 계산을 대체하기 위해 기존의 해법(CVODE, Cantera 등)과 함께 적용된다.

Figure 1: Schematic diagram of the DeePODE method. (A) Flowchart of DeePODE method. After obtaining a manifold dataset and an MC dataset, each point of the MC dataset is taken as the initial condition of a corresponding dynamical system. Sample along the evolution trajectory of MC data sparsely and

실험 결과

연구 질문

• RQ1 ODE 기반 진화 샘플에 기반한 딥러닝 서rogate 모델이 고차원 다스케일 시스템에서 다양한 초기 조건과 복잡한 역학적 영역으로 일반화될 수 있는가?
• RQ2 고차원 위상공간에서 다스케일 정보를 유지하면서도 차원의 극복 문제를 해결할 수 있는 샘플링 전략은 어떻게 설계할 수 있는가?
• RQ3 0D 및 1D 데이터에 기반한 DNN 서rogate 모델이 2D 및 3D 난류 연소 역학을 얼마나 정확하게 예측할 수 있는가?
• RQ4 샘플링 파이프라인에 ODE 진화를 통합할 경우, 표준 몬테카를로 또는 균일 샘플링에 비해 데이터 효율성과 모델 정확도가 크게 향상되는가?
• RQ5 난류flame과 배터리 전해질 점화와 같은 복잡한 시스템에서 기존 ODE 해법 대비 DeePODE의 계산 성능 향상은 어느 정도인가?

주요 결과

• DeePODE는 0D 및 1D 데이터에 기반한 DNN 서rogate 모델을 사용하여 2D 및 3D 영역에서 CVODE 결과와 일치하는 예측을 통해 난류flame의 정확한 시뮬레이션을 가능하게 했다.
• Sandia Flame D에 대해 안정적이고 정확한 예측을 달성했으며, 온도, O₂, CO₂ 및 속도의 반경 프로파일이 CVODE 및 실험 데이터와 거의 일치했다.
• DRM19에 대해 1.5ms 시점에서 구형flame의 온도 분포를 높은 정밀도로 포착했으며, CVODE 결과와 유사한 수준의 정확도를 보였다.
• GPU를 활용한 반응 속도 계산이 10배 이상 빨라졌으며, GRI 및 n-헵탄과 같은 더 큰 기구에서는 100배 이상의 속도 향상을 달성했다.
• 재학습 없이도 난류 연소 및 복잡한 화학 동역학과 같은 새로운 조건으로의 일반화 능력이 뛰어나게 나타났다.
• ODE 기반 진화 샘플링 전략은 낮은 역학 영역에 샘플을 집중시켜 데이터 효율성을 향상시키고 고차원 공간에서의 측정 집중 현상의 영향을 줄였다.

Figure 2: Two-dimensional predator-prey model. DNN prediction and direct integration results for $x_{1}$ from the initial value $x_{1}=3$ , $x_{2}=2$ . MC and MF represent Monte Carlo and manifold sampling methods, respectively.