[논문 리뷰] Learning Stable Galerkin Models of Turbulence with Differentiable Programming

Arvind Mohan, Kaushik Kumar Nagarajan외 1명|arXiv (Cornell University)|2021. 07. 15.

Model Reduction and Neural Networks참고 문헌 64인용 수 6

한 줄 요약

이 논문은 난류의 안정적인 축소된 순서 모델(ROM)을 학습하기 위해 신경망을 적분형 분해 기반 갈레르킨 투영 방정식에 통합하는 유연한 프로그래밍 프레임워크인 신경 갈레르킨 투영(NeuralGP)을 제안한다. 고도의 정밀한 CFD 데이터를 기반으로 훈련하면서도 미분형 방정식의 물리적 구조를 유지함으로써, 신경 갈레르킨 투영은 전통적인 POD-갈레르킨 ROM보다 훨씬 더 긴 시간 예측 범위와 더 높은 정확도를 달성한다. 이는 명시적 校정이 없이도 자동 미분를 통한 안정된 계수의 암묵적 학습 덕분이다.

ABSTRACT

Turbulent flow control has numerous applications and building reduced-order models (ROMs) of the flow and the associated feedback control laws is extremely challenging. Despite the complexity of building data-driven ROMs for turbulence, the superior representational capacity of deep neural networks has demonstrated considerable success in learning ROMs. Nevertheless, these strategies are typically devoid of physical foundations and often lack interpretability. Conversely, the Proper Orthogonal Decomposition (POD) based Galerkin projection (GP) approach for ROM has been popular in many problems owing to its theoretically consistent and explainable physical foundations. However, a key limitation is that the ordinary differential equations (ODEs) arising from GP ROMs are highly susceptible to instabilities due to truncation of POD modes and lead to deterioration in temporal predictions. In this work, we propose a extit{differentiable programming} approach that blends the strengths of both these strategies, by embedding neural networks explicitly into the GP ODE structure, termed Neural Galerkin projection. We demonstrate this approach on the isentropic Navier-Stokes equations for compressible flow over a cavity at a moderate Mach number. When provided the structure of the projected equations, we show that the Neural Galerkin approach implicitly learns stable ODE coefficients from POD coefficients and demonstrates significantly longer and accurate time horizon predictions, when compared to the classical POD-GP assisted by calibration. We observe that the key benefits of this differentiable programming-based approach include increased flexibility in physics-based learning, very low computational costs, and a significant increase in interpretability, when compared to purely data-driven neural networks.

연구 동기 및 목표

• 난류 흐름에서 전통적인 적분형 분해 기반 갈레르킨 투영(POD-GP) ROM의 불안정성과 열악한 장기 예측 정확도 문제를 해결하기 위해.
• 갈레르킨 투영의 물리적 해석 가능성과 딥 신경망의 표현 능력을 통합하기 위해.
• 기본 ODE의 구조를 유지하면서 ROM 계수의 엔드 투 엔드 훈련이 가능한 유연한 프로그래밍 프레임워크를 개발하기 위해.
• 압축성 흐름에 대한 갈레르킨 ROM의 시간적 안정성과 예측 정확도를 향상시키기 위해 임의의 校정 절차에 의존하지 않기 위해.

제안 방법

• 갈레르킨 투영 ODE의 구조에 직접적으로 신경망을 통합하여, 물리 기반 혼합 학습 프레임워크를 구축한다.
• 유연한 프로그래밍을 사용하여 전체 ROM 계산 그래프를 통한 자동 미분을 가능하게 하여 신경망 가중치의 기울기 기반 최적화를 허용한다.
• 고정밀 CFD 데이터를 기반으로 신경망을 훈련시켜 POD 계수에서 시간 도함수로 매핑하는 안정된 ODE 계수 함수를 학습한다.
• 갈레르킨 투영 프레임워크를 유지함으로써 물리적 일관성을 확보하여 ROM이 나비에-스토크스 방정식에 기반을 두도록 한다.
• 자기 미분을 활용하여 손실 함수의 네트워크 파라미터에 대한 기울기를 계산함으로써 효율적인 최적화를 가능하게 한다.
• 예측된 POD 계수의 시간 도함수와 실제 값 간의 차이를 기반으로 한 손실 함수를 사용하여 시간에 걸친 잔차 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 신경망을 ODE의 구조에 통합한 유연한 프로그래밍 접근 방식이 난류 흐름의 갈레르킨 ROM을 안정화시킬 수 있는가?
• RQ2 제안된 신경 갈레르킨 투영 방법이 校정을 포함한 전통적인 POD-갈레르킨 ROM보다 더 나은 장기 예측 정확도를 달성하는가?
• RQ3 하이브리드 접근 방식은 난류 모델링에서 데이터 기반 학습을 향상시키는 동시에 물리적 해석 가능성의 정도를 얼마나 유지하는가?
• RQ4 유연한 프로그래밍을 통한 안정된 계수의 암묵적 학습이, 명시적 校정 절차에 비해 강건성과 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 신경 갈레르킨 투영은 명시적 校정 없이도 전통적인 POD-갈레르킨 ROM보다 훨씬 더 긴 시간 예측 범위와 더 높은 정확도를 보여준다.
• 이 방법은 POD 데이터로부터 안정된 ODE 계수를 암묵적으로 학습함으로써 기존 갈레르킨 ROM에서 흔히 발생하는 수치적 발산 문제를 피한다.
• 갈레르킨 투영의 물리적 구조를 유지함으로써 높은 해석 가능성 달성하며, 순수한 블랙박스 신경망과는 달리 물리적 의미를 유지한다.
• 계산 비용은 매우 낮아 실시간 피드백 제어 시스템 적용에 적합하다.
• 사용자에 따라 달라지는 가중치 요소나 정규화를 기반으로 한 校정 기반 방법보다 성능이 뛰어나며, 더 강건하다.
• 유연한 프로그래밍을 활용하여 자동 미분를 통한 기울기 계산이 가능해 최적화 과정에서 수렴성과 안정성이 보장된다.