[논문 리뷰] Turbulence forecasting via Neural ODE

Gavin Portwood, Peetak Mitra외 10명|arXiv (Cornell University)|2019. 11. 12.

Model Reduction and Neural Networks참고 문헌 21인용 수 23

한 줄 요약

이 논문은 사전에 지정된 현상학적 모델에 의존하지 않고 난류 운동 에너지 소산을 예측하기 위한 신경 미분방정식(Neural ODE) 프레임워크를 제안한다. 직접 수치 시뮬레이션(DNS) 데이터로부터 난류의 잠재 역학을 학습함으로써, 이 방법은 DNS에 비해 상대 오차 1–2% 이내를 달성하며, 일시적이고 다중 스케일의 난류 진화에 대해 기존 최고 수준의 분석 모델보다 거의 두 개의 오차 단위만큼 정확도가 뛰어나다.

ABSTRACT

Fluid turbulence is characterized by strong coupling across a broad range of scales. Furthermore, besides the usual local cascades, such coupling may extend to interactions that are non-local in scale-space. As such the computational demands associated with explicitly resolving the full set of scales and their interactions, as in the Direct Numerical Simulation (DNS) of the Navier-Stokes equations, in most problems of practical interest are so high that reduced modeling of scales and interactions is required before further progress can be made. While popular reduced models are typically based on phenomenological modeling of relevant turbulent processes, recent advances in machine learning techniques have energized efforts to further improve the accuracy of such reduced models. In contrast to such efforts that seek to improve an existing turbulence model, we propose a machine learning(ML) methodology that captures, de novo, underlying turbulence phenomenology without a pre-specified model form. To illustrate the approach, we consider transient modeling of the dissipation of turbulent kinetic energy, a fundamental turbulent process that is central to a wide range of turbulence models using a Neural ODE approach. After presenting details of the methodology, we show that this approach outperforms state-of-the-art approaches.

연구 동기 및 목표

• 사전에 지정된 현상학적 형태에 의존하지 않고, 감소된 순서의 난류 모델을 자동으로, 데이터 기반으로 학습하는 방법론을 개발하기 위해.
• 다양한 레이놀즈 수와 외부 힘 매개변수에서 난류 운동 에너지 소산의 예측 정확도를 향상시키기 위해.
• 신경 미분방정식이 일시적, 국소적이지 않은, 다중 스케일의 난류 역학을 포괄하는 데 있어 일반화 가능성(일반화 능력)을 입증하기 위해.
• 학습된 잠재 미분방정식을 사용해 효율적이고 연속적인 시간 예측을 수행할 수 있도록 하기 위해.
• 기후 모델과 같은 복잡한 시스템에 데이터 기반 모델을 통합하기 위한 기반을 마련하기 위해.

제안 방법

• 이 방법은 연속 시간 잠재 미분방정식 프레임워크를 사용하며, 난류 예측 변수(운동 에너지 및 소산률)의 시계열 데이터가 잠재 공간으로 인코딩된다.
• 입력 데이터를 잠재 공간으로 및 그 반대로 매핑하기 위해 RNN 인코더와 디코더를 갖춘 변분 오토인코더가 사용되며, 이는 엔드 투 엔드 학습을 가능하게 한다.
• 잠재 역학은 하나의 은닉층(20개 유닛)을 갖는 완전 연결 피드포워드 네트워크로 파arameterized된 신경 미분방정식(Neural ODE)으로 모델링된다.
• 일반적인 수치적 해법을 사용해 미분방정식을 통합함으로써, 임의의 시간점에서 궤적의 보간 및 외삽이 가능해진다.
• 모델은 다양한 레이놀즈 수와 외부 힘 매개변수(p₀)에 걸쳐 생성된 DNS 데이터를 기반으로 학습되어, 훈련 데이터에 포함되지 않은 조건으로의 일반화가 가능해진다.
• 프레임워크는 비침습적이며, 물리적 기반에 대한 사전 가정이 필요 없어, 복잡한 비국소적 상호작용을 발견할 수 있다.

실험 결과

연구 질문

• RQ1 현상학적 모델 형태에 의존하지 않고, 일시적인 난류 운동 에너지 소산 진화를 정확하게 예측할 수 있는 데이터 기반 신경 미분방정식 모델은 가능한가?
• RQ2 신경 미분방정식의 성능는 레이놀즈 수와 외부 힘 매개변수 의존성을 포괄하는 데 있어 기존 최고 수준의 분석 모델과 비교해 어떻게 되는가?
• RQ3 신경 미분방정식은 훈련 세트에 포함되지 않은 새로운 p₀ 또는 Re 값과 같은 새로운 매개변수 값으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 잠재 미분방정식 프레임워크는 전통적인 감소된 모델이 다루기 어려운 비국소적, 스케일 결합 동역학을 효과적으로 포착할 수 있는가?
• RQ5 순수한 데이터 기반 접근 방식으로 난류 소산을 예측할 때, 고정밀도 DNS에 비해 달성 가능한 정확도는 어느 정도인가?

주요 결과

• 신경 미분방정식 모델은 다양한 테스트 케이스에서 DNS 기준 진실값에 대해 1–2% 이내의 오차를 기록하며, 기존 최고 수준의 분석 모델보다 뚜렷이 뛰어난 정확도를 확보한다.
• 모델은 분석 모델이 저레이놀즈 수 조건을 잘 표현하지 못해 과도하게 예측하는 바람에 발생하는 소산률의 후기 감쇠 행동을 정확히 포착한다.
• 신경 미분방정식은 훈련 데이터에 포함되지 않은 새로운 매개변수 값(예: 새로운 p₀)으로도 효과적으로 일반화되며, 훈련 데이터를 초월한 외삽에서도 뛰어난 강건성을 보인다.
• 잠재 미분방정식 프레임워크는 이산 깊이의 RNN과 달리, 임의의 시간점에서 연속적인 시간 예측과 보간을 가능하게 한다.
• 모델은 다양한 레이놀즈 수와 외부 힘 조건에서 일관되게 높은 정확도를 유지하며, 강력한 일반화 능력을 보여준다.
• 결과적으로 데이터 기반 신경 미분방정식은 복잡한 유체역학에서 감소된 순서 모델을 개발하기 위한 실현 가능하고 효과적인 대안임을 시사한다.