[논문 리뷰] Challenges of learning multi-scale dynamics with AI weather models: Implications for stability and one solution

Ashesh Chattopadhyay, Sun, Y. Qiang외 1명|arXiv (Cornell University)|2023. 04. 14.

Meteorological Phenomena and Simulations인용 수 14

한 줄 요약

논문은 스펙트럴 바이어스가 난류 흐름의 데이터 기반 디지털 트윈에서 장기 불안정성의 보편적 원인임을 확인하고 FouRKS를 도입하여 기후 에뮬레이션에서 장기적이고 물리적으로 일관된 안정성을 달성합니다. QG 및 ERA5 데이터에서 수백에서 수만 일에 이르는 안정적 예측을 보여줍니다.

ABSTRACT

Long-term stability and physical consistency are critical properties for AI-based weather models if they are going to be used for subseasonal-to-seasonal forecasts or beyond, e.g., climate change projection. However, current AI-based weather models can only provide short-term forecasts accurately since they become unstable or physically inconsistent when time-integrated beyond a few weeks or a few months. Either they exhibit numerical blow-up or hallucinate unrealistic dynamics of the atmospheric variables, akin to the current class of autoregressive large language models. The cause of the instabilities is unknown, and the methods that are used to improve their stability horizons are ad-hoc and lack rigorous theory. In this paper, we reveal that the universal causal mechanism for these instabilities in any turbulent flow is due to extit{spectral bias} wherein, extit{any} deep learning architecture is biased to learn only the large-scale dynamics and ignores the small scales completely. We further elucidate how turbulence physics and the absence of convergence in deep learning-based time-integrators amplify this bias, leading to unstable error propagation. Finally, using the quasi-geostrophic flow and European Center for Medium-Range Weather Forecasting (ECMWF) Reanalysis data as test cases, we bridge the gap between deep learning theory and numerical analysis to propose one mitigative solution to such unphysical behavior. We develop long-term physically-consistent data-driven models for the climate system and demonstrate accurate short-term forecasts, and hundreds of years of time-integration with accurate mean and variability.

연구 동기 및 목표

• 난류 흐름의 데이터 기반 디지털 트윈에서 불안정의 보편적 원인 식별.
• 물리학에서 영감을 얻은, 아키텍처에 구애받지 않는 완화 프레임워크(FouRKS)로 장기 안정성 확보.
• QG 및 ERA5 데이터셋에서 장기적으로 안정적이고 물리적으로 일관된 에뮬레이션을 시연.
• 확대된 예측 기간 동안 FouRKS가 평균, PDF 및 변동성을 어떻게 보존하는지 평가.

제안 방법

• 딥러닝 기반 디지털 트윈에서 불안정성의 원인으로 스펙트럴 바이어스 분석.
• 훈련 중 고-와이븐 수 오류를 제재하기 위한 푸리에 기반의 스펙트럴 정규화 개발.
• 모델 내부에 미분가능한 계층으로 수렴하는 4차 Runge-Kutta 시간 적분기를 도입.
• 자회귀 예측 중 자기지도 스펙트럼 보정 전략 구현.
• PDE 잔차를 예측하는 모든 신경 동적 에뮬레이터와 작동하도록 FouRKS를 아키텍처에 구애받지 않게 만듦.

Figure 1: Long-term instabilities in a FourCastNet pathak2022fourcastnet and U-NET-based digital twin (section 4.3 ) trained on both $0.25^{\circ}$ and $2^{\circ}$ ERA5 data (section 4.1 ) and U-NET on QG simulations (section 4.2 ). (a) Z500 values from ERA5 on day 1 from year $2018$ . (b) correspon

실험 결과

연구 질문

• RQ1 난류 흐름의 데이터 기반 디지털 트윈에서 장기 불안정의 근본 원인은 무엇인가?
• RQ2 원리적 프레임워크가 스펙트럴 바이어스를 완화하고 수렴하는 장기 예측을 제공할 수 있는가?
• RQ3 QG 및 ERA5 데이터에 대해 물리적으로 의미 있는 장기 통계(평균, PDF, 변동성) 측면에서 FouRKS의 성능은 어느 정도인가?
• RQ4 FouRKS가 수백에서 수천 일에 걸친 안정적인 예측을 얼마나 제공할 수 있는가?

주요 결과

• 스펙트럴 바이어스가 난류 흐름의 데이터 기반 디지털 트윈에서 불안정의 보편적 원인으로 확인되었다.
• 푸리에 기반 스펙트럴 정규화, RK4 적분기, 자기지도 스펙트럼 보정이 상호 보완적으로 장기 안정성을 가능하게 한다.
• 두 계층 QG 시스템에서 U-NET를 사용하는 FouRKS가 20,000일 동안 안정적인 자기회귀 에뮬레이션을 달성한다.
• ERA5 데이터와 함께 FouRKS는 최대 5,200일에 이르는 안정적이고 물리적으로 일관된 자기회귀 예측을 제공한다.
• 이 프레임워크는 한 스케일을 넘어선 참 스펙트럼과 일치하는 푸리에 스펙트럼을 가지는 예측을 생성하고, 주요 변수의 평균 및 PDF를 보존한다.
• 기준 모델과 비교하여 FouRKS는 장기 안정성과 예측의 물리적 현실감을 현저히 향상시킨다.

Figure 2: Schematics for each component of the FouRKS framework and the baseline U-NET. More details about each of the components can be found in section 4.3 and section 4.4 .