[논문 리뷰] Neural Ordinary Differential Equations for Data-Driven Reduced Order Modeling of Environmental Hydrodynamics

Sourav Dutta, Peter Rivera-Casillas외 1명|arXiv (Cornell University)|2021. 04. 22.

Model Reduction and Neural Networks참고 문헌 66인용 수 6

한 줄 요약

이 논문은 환경 수문학의 감소 차원 모델(ROMs)에서 잠재 공간 역학을 모델링하기 위한 비침습적이고 연속적인 깊이 프레임워크로 신경 미분방정식(NODEs)을 제안한다. NODEs가 압축성 유동과 실제 강과 만의 흐름에 대해 안정적이고 정확하며 외삽 가능한 예측을 달성함으로써 기존의 DMD와 RBF 보간법보다 장기 외삽에서 뛰어난 성능을 보이며, 동시에 훈련 환경에서는 경쟁 가능한 정확도를 유지함을 입증한다.

ABSTRACT

Model reduction for fluid flow simulation continues to be of great interest across a number of scientific and engineering fields. Here, we explore the use of Neural Ordinary Differential Equations, a recently introduced family of continuous-depth, differentiable networks (Chen et al 2018), as a way to propagate latent-space dynamics in reduced order models. We compare their behavior with two classical non-intrusive methods based on proper orthogonal decomposition and radial basis function interpolation as well as dynamic mode decomposition. The test problems we consider include incompressible flow around a cylinder as well as real-world applications of shallow water hydrodynamics in riverine and estuarine systems. Our findings indicate that Neural ODEs provide an elegant framework for stable and accurate evolution of latent-space dynamics with a promising potential of extrapolatory predictions. However, in order to facilitate their widespread adoption for large-scale systems, significant effort needs to be directed at accelerating their training times. This will enable a more comprehensive exploration of the hyperparameter space for building generalizable Neural ODE approximations over a wide range of system dynamics.

연구 동기 및 목표

• 유체 흐름의 감소 차원 모델에서 잠재 공간 역학을 모델링하기 위한 비침습적이고 미분 가능한 프레임워크를 개발하는 것.
• 실제 수문학적 응용에서 전통적인 비침습적 ROM 기법인 DMD와 RBF 보간법과 비교하여 신경 ODE의 성능을 평가하는 것.
• 훈련 데이터 범위를 초월하여 흐름 역학을 예측할 수 있는 능력, 즉 외삽 능력을 평가하는 것.
• 강과 만과 같은 환경 시스템에서 복잡하고 비선형적이며 시간에 따라 변화하는 PDE를 모델링하는 데 있어 NODE의 실현 가능성과 안정성 탐색.
• 대규모 수문학적 시스템에서 일반화 능력과 훈련 효율성을 향상시키는 데 기여하는 핵심 하이퍼파rameter와 아키텍처 선택 사항을 규명하는 것.

제안 방법

• 유체 흐름의 고정밀 스냅샷 데이터에서 저차원 선형 부분공간을 추출하기 위해 적절한 직교 분해(POD)를 적용한다.
• 잠재 공간 역학은 신경 미분방정식(NODE)을 통해 모델링되며, 이는 학습 가능한 신경망 벡터장으로 정의된 연속 시간 역학 시스템으로서 POD 계수의 변화를 나타낸다.
• NODE 프레임워크는 ODE 해법기의 역전파를 통해 엔드 투 엔드로 훈련되며, 감소된 공간 내 연속 역학을 미분 가능한 방식으로 학습할 수 있다.
• 이 방법은 두 가지 고전적인 비침습적 ROM 기법인 POD-RBF 보간법과 POD-동적 모드 분해(DMD)와 비교된다.
• 훈련은 정규화된 시간 단위와 잘라낸 POD 모드를 사용하며, 벤치마크 및 실제 유동 문제에서 안정성과 정확도를 확보하기 위해 하이퍼파rameter를 조정한다.
• 모델 성능 평가에는 공간적 평균 제곱근 오차(RMSE)와 여러 시간 포인트에서의 속도 및 수심 분포의 시각적 비교를 사용한다.

실험 결과

연구 질문

• RQ1 신경 ODE는 환경 수문학의 감소 차원 모델에서 잠재 공간 역학의 진화를 안정적이고 정확하게 모델링할 수 있는 프레임워크를 제공할 수 있는가?
• RQ2 NODE 기반 ROM의 예측 정확도와 외삽 능력은 DMD나 RBF 보간법과 같은 고전적인 비침습적 방법과 비교해 어떻게 다를까?
• RQ3 모델 아키텍처와 하이퍼파rameter 선택은 대규모 수문학적 시스템에서 NODE 기반 ROM의 일반화 능력과 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 NODE 기반 ROM은 훈련 데이터에 포함되지 않은 새로운 흐름 제도에 대해 얼마나 잘 일반화될 수 있는가?
• RQ5 선형 감소 부분공간이 실패할 수 있는 날카운 경계가 있는 복잡한 대류 지배 유동을 효과적으로 모델링할 수 있는가?

주요 결과

• 신경 ODE는 시험용 및 실제 수문학적 문제, 즉 원통 주위의 흐름과 강과 만의 흐름을 포함하여, 둘 다 안정적이고 정확한 학습 경로를 보였다.
• 원통 흐름의 경우, NODE 기반 ROM은 RBF 보간법과 유사한 성능을 보였고, DMD보다 장기 외삽 예측에서 뛰어난 성능을 보였다.
• 레드 강 사례에서는 NODE ROM이 더 정확한 RBF 방법과 비슷한 RMSE 성능을 보였고, DMD는 낮은 잘라낸 수준(r=30)으로 인해 높은 오차를 보였다.
• 원통 사례에 대해 NODE 프레임워크는 전통적인 ROM에서 드물게 관찰되는 희망적인 외삽 예측을 생성했으며, 이는 훈련 데이터 외부의 흐름 제도를 모델링할 잠재력을 시사한다.
• 연구는 대규모 환경 모델링에서 NODE의 광범위한 도입을 가능하게 하기 위해 하이퍼파rameter 최적화와 훈련 가속화의 필요성을 강조한다.
• 저자들은 모든 데이터와 코드를 공개적으로 배포할 계획이며, 이는 NODE-NIROM 프레임워크의 재현 가능성과 향후 발전을 지원하기 위함이다.