[논문 리뷰] Data assimilation empowered neural network parameterizations for subgrid processes in geophysical flows

Suraj Pawar, Omer San|arXiv (Cornell University)|2020. 06. 16.

Model Reduction and Neural Networks참고 문헌 89인용 수 8

한 줄 요약

이 논문은 혼돈적인 지구물리학적 유동에서 장기 예측 정확도를 햖스키기 위해 신경망 기반 하위그리드 스케일 과정의 파rameterization과 데이터 융합을 결합한 하이브리드 모델링 프레임워크를 제안한다. 물리학에 기반한 신경망의 예측을 앙상블 칼만 필터링을 통해 보정함으로써, 이 방법은 드리프트와 불안정성을 크게 감소시키며, 로렌츠 96 및 크라이히난 난류 시스템에서 단독 기계학습 파rameterization보다 뛰어난 성능을 보여준다.

ABSTRACT

In the past couple of years, there is a proliferation in the use of machine learning approaches to represent subgrid scale processes in geophysical flows with an aim to improve the forecasting capability and to accelerate numerical simulations of these flows. Despite its success for different types of flow, the online deployment of a data-driven closure model can cause instabilities and biases in modeling the overall effect of subgrid scale processes, which in turn leads to inaccurate prediction. To tackle this issue, we exploit the data assimilation technique to correct the physics-based model coupled with the neural network as a surrogate for unresolved flow dynamics in multiscale systems. In particular, we use a set of neural network architectures to learn the correlation between resolved flow variables and the parameterizations of unresolved flow dynamics and formulate a data assimilation approach to correct the hybrid model during their online deployment. We illustrate our framework in a set of applications of the multiscale Lorenz 96 system for which the parameterization model for unresolved scales is exactly known, and the two-dimensional Kraichnan turbulence system for which the parameterization model for unresolved scales is not known a priori. Our analysis, therefore, comprises a predictive dynamical core empowered by (i) a data-driven closure model for subgrid scale processes, (ii) a data assimilation approach for forecast error correction, and (iii) both data-driven closure and data assimilation procedures. We show significant improvement in the long-term prediction of the underlying chaotic dynamics with our framework compared to using only neural network parameterizations for future prediction.

연구 동기 및 목표

• 지구물리학적 유동에서 데이터 기반 하위그리드 스케일 파rameterization의 온라인 구현에서 발생하는 불안정성과 편향 문제를 해결하기 위해.
• 기계학습 기반 폐쇄 모델과 데이터 융합을 통합하여 혼돈적인 다스케일 시스템의 장기 예측 정확도를 향상시키기 위해.
• 실시간 예측 과정에서 관측 데이터를 사용하여 신경망 파rameterization을 강건하고 비침습적으로 보정할 수 있도록 하기 위해.
• 기본적으로 알려진 또는 알려지지 않은 하위그리드 스케일 파rameterization이 있는 시스템, 특히 비정규 분포 통계를 포함한 시스템에서 프레임워크의 효과성을 입증하기 위해.
• 기후 및 날씨 모델링의 외부 데이터 융합 워크플로우를 향상시키기 위한 모듈식이고 물리학에 기반한 접근 방식을 제공하기 위해.

제안 방법

• 다양한 스케일의 시스템에서 해상도가 높은 유동 변수와 미해결 하위그리드 스케일 역학 간의 매핑을 학습하기 위해 신경망을 훈련한다.
• 물리학에 기반한 방정식과 신경망 파rameterization을 조합한 하이브리드 모델이 온라인으로 구동되며, 앙상블 칼만 필터링(EnKF)을 통해 보정된다.
• EnKF는 정기적인 간격으로 희박하고 노이즈가 많은 관측치를 융합하여 상태 추정과 오차 보정을 수행하며, 공분산 확장과 국소화를 통해 필터의 안정성을 확보한다.
• 이 프레임워크는 하위그리드 스케일 파라미터화가 알려진 두 수준의 로렌츠 96 시스템과 하위그리드 스케일 파라미터화가 알려지지 않은 2차원 크라이히난 난류 시스템에서 테스트된다.
• 이 방법은 비침습적이고 모듈식 방식으로 적용되어 기존의 데이터 융합 파ip라인에 영향을 주지 않고도 모델의 핵심 구조를 변경하지 않고 통합될 수 있다.
• 상태 추정에는 결정성 앙상블 칼만 필터(DenKF)를 사용하며, 고해상도 참값 시뮬레이션에서 생성된 가짜 관측치를 사용한다.

실험 결과

연구 질문

• RQ1 혼돈적인 다스케일 시스템에서 하위그리드 과정에 대한 데이터 기반 신경망 파라미터화가 온라인 데이터 융합을 통해 안정화되고 향상될 수 있는가?
• RQ2 데이터 융합과 신경망 폐쇄 모델을 통합할 경우, 단독 기계학습 모델 대비 장기 예측 정확도에 어떤 영향을 미치는가?
• RQ3 이 프레임워크는 하위그리드 스케일 과정의 비정규 분포 통계를 다룰 수 있는가, 특히 사전에 알려진 파라미터화가 없는 시스템에서도 성능이 유지되는가?
• RQ4 온라인 구현 과정에서 데이터 융합이 하이브리드 물리학-기계학습 모델의 모델 드리프트와 편향을 어느 정도 완화하는가?
• RQ5 이 프레임워크는 기존의 데이터 융합 워크플로우를 향상시키기 위해 모듈식이고 비침습적인 방식으로 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 단독으로 신경망 파라미터화를 사용하는 것보다 다스케일 로렌츠 96 시스템의 장기 시뮬레이션에서 예측 오차와 모델 드리프트를 크게 감소시켰다.
• 각 융합 사이클당 18개의 관측치를 사용할 경우, 9개의 관측치보다 더 효과적으로 궤적 오차를 감소시켜 관측 밀도 증가에 따른 수렴 개선을 입증했다.
• 이 방법은 모델 오차와 비선형 역학에도 불구하고 혼돈적인 로렌츠 96 시스템에서 신경망 파라미터화를 성공적으로 안정화시켜 발산을 방지했다.
• 진정한 하위그리드 스케일 파라미터화가 알려지지 않은 크라이히난 난류 시스템에서도 이 프레임워크는 정확하고 안정적인 예측을 달성했으며, 모델 불확실성에 대한 강건성을 보였다.
• 기계학습 기반 파라미터화와 데이터 융합의 통합은 비정규 하위그리드 통계를 효과적으로 처리했으며, 표준 칼만 필터링의 가정을 초월하는 성능을 보였다.
• 이 프레임워크는 외부 데이터 융합 루프와 호환성을 보였으며, 핵심 모델 아키텍처를 변경하지 않고도 모듈식이고 비침습적인 방식으로 예측 시스템을 향상시킬 수 있었다.