[논문 리뷰] Reduced-order Model for Fluid Flows via Neural Ordinary Differential Equations

Carlos Jose Gonzalez Rojas, Andreas Dengel외 1명|arXiv (Cornell University)|2021. 02. 03.

Model Reduction and Neural Networks참고 문헌 23인용 수 9

한 줄 요약

이 논문은 유체 흐름을 위한 데이터 기반 감소 차원 모델을 제안하며, 적합한 직교 분해(POD) 모드에서 시간 계수를 예측하기 위해 신경 미분 방정식(NODE)을 사용한다. 기존 갈레르킨 투영 대신 연속 잠재공간 NODE 아키텍처를 도입함으로써, LSTM 기준선 대비 우수한 외삽성과 오차 내성 확보를 달성하였으며, 최소한의 계산 비용으로 소용루르 동역학과 유동 특징을 정확하게 재구성함을 입증하였다.

ABSTRACT

Reduced order models play an important role in the design, optimization and control of dynamical systems. In recent years, there has been an increasing interest in the application of data-driven techniques for model reduction that can decrease the computational burden of numerical solutions, while preserving the most important features of complex physical problems. In this paper, we use the proper orthogonal decomposition to reduce the dimensionality of the model and introduce a novel generative neural ODE (NODE) architecture to forecast the behavior of the temporal coefficients. With this methodology, we replace the classical Galerkin projection with an architecture characterized by the use of a continuous latent space. We exemplify the methodology on the dynamics of the Von Karman vortex street of the flow past a cylinder generated by a Large-eddy Simulation (LES)-based code. We compare the NODE methodology with an LSTM baseline to assess the extrapolation capabilities of the generative model and present some qualitative evaluations of the flow reconstructions.

연구 동기 및 목표

• 풀 오더 시뮬레이션의 계산 부담을 피하는 비침습적 데이터 기반 감소 차원 모델(ROM)을 개발하기 위해.
• 기존 갈레르킨 투영을 대체하여 잠재공간에서 시간 계수 동역학을 연속적으로 학습하는 생성적 신경 ODE 아키텍처를 도입하기 위해.
• 장기 예측에서 자동재귀 모델인 LSTMs와 비교해 외삽 성능 향상과 오차 누적 감소를 달성하기 위해.
• 라벨이 부여된 시간 윈도우나 명시적 물리 법칙 수식이 필요 없이, 비지도 학습을 통한 동역학 시스템 학습을 가능하게 하기 위해.

제안 방법

• 300개의 LES 생성 스퍼플릿을 사용해 스냅샷 적합한 직교 분해(POD)를 적용하여, 8개의 모드로 99%의 정보를 유지하면서 공간 모드와 시간 계수를 추출한다.
• 비지도 오토인코더 프레임워크를 사용해 시간 계수를 저차원 잠재공간으로 인코딩한다.
• 잠재 동역학의 연속 시간 진화를 모델링하기 위해 인코더와 디코더 사이에 신경 ODE(NODE) 블록을 통합한다.
• 이산 시간 단계 감독 없이 시간 시퀀스 전체에 걸쳐 재구성 오차를 최소화하는 연속 시간 손실 함수를 사용해 NODE를 훈련한다.
• 피드포워드 디코더 네트워크를 사용해 잠재 상태를 다시 시간 계수 공간으로 디코딩한다.
• 동일한 훈련, 검증, 테스트 분할(75/25/200개 시간 단계)을 사용해 NODE-ROM의 성능을 LSTM 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 신경 ODE 기반 아키텍처는 유체 흐름 시스템에서 POD 계수의 시간 진화를 효과적으로 학습하고 예측할 수 있는가?
• RQ2 장기 외삽 정확도와 오차 누적 측면에서 NODE-ROM은 LSTM 기준선과 비교해 어떻게 성능을 발휘하는가?
• RQ3 NODE의 연속 잠재공간 공식화는 이산 자동재귀 모델보다 더 우수한 일반화 능력과 물리적 일관성을 제공하는가?
• RQ4 NODE-ROM은 최소한의 풀 오더 시뮬레이션 비용으로 복잡한 유동 특징, 예를 들어 바르니에르-카르만 소용루르 거더를 얼마나 정확하게 재구성할 수 있는가?

주요 결과

• NODE 모델은 세 번째와 네 번째 POD 시간 계수에 대해 LSTM 기준선보다 유의미하게 높은 예측 정확도를 확보하였으며, 특히 장기 테스트 윈도우(t ∈ [200,300])에서 두드러졌다.
• LSTM 모델은 이전 연구에서 지적된 바와 같이 자동재귀 성격으로 인해 시간이 지남에 따라 오차 누적이 증가하는 경향을 보였다. 특히 α₁과 α₂에서 두드러졌다.
• NODE 모델은 외삽 능력이 뛰어나, 오차 드리프트 없이 전체 200단계 테스트 시퀀스 동안 안정적이고 정확한 예측을 유지하였다.
• t=300에서 NODE 예측 계수를 사용한 유동 재구성 결과는 LES 기준값과 높은 일치도를 보였으며, 소용루르 구조에서 약간의 차이만 존재했다.
• 하류 탐사점에서의 속도 변동 시간 이력은 NODE-ROM이 시스템의 물리적 반응을 시간에 따라 정확히 포착했음을 확인시켰다.
• 랜덤 서치를 통한 하이퍼파rameter 튜닝을 통해 최적의 설정을 도출하였으며, 이를 바탕으로 6개의 잠재 차원, 4층의 인코더/디코더, NODE 모델의 학습률 0.0015를 확보하였다.