[논문 리뷰] Simulating Atmospheric Processes in Earth System Models and Quantifying Uncertainties with Deep Learning Multi-Member and Stochastic Parameterizations

Gunnar Behrens, Tom Beucler외 6명|arXiv (Cornell University)|2024. 02. 05.

Atmospheric and Environmental Gas Dynamics인용 수 4

한 줄 요약

이 논문은 지구시스템모델(Earth System Models, ESMs)에서 미세구조 대기 과정을 향상시키기 위해 깊이 있는 학습 앙상블과 확률적 파arameterization, 보정된 불확실성 정량화를 제안한다. 다중 멤버 신경망과 변동형 오토인코더를 사용하여 대류, 난류 및 복사 플럭스를 시뮬레이션한다. 이 방법은 안정적인 장기 온라인 시뮬레이션(5개월 이상)을 가능하게 하며, 결정론적 모델 대비 극단적 강수량과 일주기 주기 표현을 크게 향상시킨다.

ABSTRACT

Deep learning is a powerful tool to represent subgrid processes in climate models, but many application cases have so far used idealized settings and deterministic approaches. Here, we develop stochastic parameterizations with calibrated uncertainty quantification to learn subgrid convective and turbulent processes and surface radiative fluxes of a superparameterization (SP) embedded in an Earth System Model (ESM). We explore three methods to construct stochastic parameterizations: 1) a single Deep Neural Network (DNN) with Monte Carlo Dropout; 2) a multi-member parameterization; and 3) a Variational Encoder Decoder with latent space perturbation. We show that the multi-member (MM) parameterization improves the representation of convective processes, especially in the planetary boundary layer, compared to individual DNNs. The respective uncertainty quantification illustrates that methods 2) and 3) are advantageous compared to a dropout-based DNN parameterization regarding the spread of convective processes. Hybrid simulations with our best-performing MM parameterizations remained challenging and crash within the first days. Therefore, we develop a pragmatic partial coupling strategy relying on the SP for condensate emulation. Partial coupling reduces the computational efficiency of hybrid Earth-like simulations but enables model stability over 5 months with our MM parameterizations. However, our hybrid simulations exhibit biases in thermodynamic fields and differences in precipitation patterns. Despite this, the MM parameterizations enable improvements in reproducing tropical extreme precipitation compared to a traditional convection parameterization. Despite these challenges, our results indicate the potential of a new generation of MM machine learning parameterizations leveraging uncertainty quantification to improve the representation of stochasticity of subgrid effects.

연구 동기 및 목표

• 지속적인 편향, 특히 부적절한 미세구조 대류 파라미터라이제이션으로 인한 이중 ITCZ 편향을 해결하기 위해.
• 결정론적 딥 뉴럴 네트워크(DNNs)를 넘어서, 미세구조 변동성과 불확실성을 포괄하는 기계학습 기반 파라미터라이제이션을 개발하기 위해.
• 응축 물 기울기 추정의 과제를 우회함으로써, 표면 및 복사 플럭스를 포함한 전체 ESM과의 안정적인 장기 온라인 결합을 가능하게 하기 위해.
• 확률적 딥러닝 접근법을 통해 미세구조 과정의 불확실성 정량화를 실현함으로써 기후 시뮬레이션의 신뢰성과 현실성 향상시키기 위해.
• 앙상블 기반 기계학습 파라미터라이제이션 기법이 결정론적 대비 기법보다 극단적 강수량과 일주기 주기 시뮬레이션에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 세 가지 확률적 파라미터라이제이션 방법을 개발함: (1) 몬테카를로 드롭아웃을 적용한 단일 DNN, (2) 다중 네트워크 앙상블, (3) 잠재공간 편향이 있는 변동형 오토인코더-디코더(VAE).
• 다중 네트워크 앙상블은 동일한 입력에서 다수의 독립적인 DNN을 사용해 다양한 예측을 생성함으로써, 미세구조 변동성의 표현을 향상시킴.
• 응축 물 기울기 추정의 과제를 우회하기 위해 새로운 부분 결합 전략을 도입함으로써, 5개월 이상의 안정적인 온라인 통합이 가능해졌음.
• 불확실성 정량화는 앙상블 산란과 확률적 출력을 통해 달성되었으며, VAE 기반 방법이 드롭아웃 기반 DNN 앙상블 대비 뛰어난 산란 특성을 보임.
• 오프라인 평가에서는 보류 데이터셋을 사용해 미세구조 기울기 예측을 비교하고, 온라인 평가에서는 결합 시뮬레이션에서 강수량 극단치와 일주기 주기를 평가함.
• 모든 모델는 약수행성 지구모델(SPCAM)의 슈퍼파라미터라이제이션 설정에서 생성된 데이터로 훈련되었으며, 이후 SPCESM2 ESM에 통합되어 온라인 테스트를 수행함.

Figure 1: We compare three stochastic parameterization strategies for reproducing the superparameterization (SP), which simulates SP subgrid variables ( $\boldsymbol{Y}$ ) based on large-scale Community Atmosphere Model (CAM) variables ( $\boldsymbol{X}$ ): 1) Applying Monte-Carlo dropout to a singl

실험 결과

연구 질문

• RQ1 딥러닝 앙상블 파라미터라이제이션은 결정론적 DNN 대비 대류 및 난류 과정의 미세구조 표현을 어떻게 향상시키는가?
• RQ2 몬테카를로 드롭아웃, 다중 네트워크 앙상블, VAE 기반 편향 기법 간의 불확실성 산란 및 예측 능력은 어떻게 비교되는가?
• RQ3 표면 및 복사 플럭스를 포함한 전체 ESM과 완전히 결합된 기계학습 파라미터라이제이션으로서, 안정적인 장기 온라인 시뮬레이션(5개월 이상)을 달성할 수 있는가?
• RQ4 앙상블 기반 파라미터라이제이션은 전통적 기법 대비 극단적 강수량과 강수량 일주기 주기의 시뮬레이션을 얼마나 향상시키는가?
• RQ5 앙상블 방법에서 도출된 불확실성 정량화는 실제 결합 지구시스템 시뮬레이션에서 미세구조 과정 변동성과 의미 있는 관련성을 가지는가?

주요 결과

• 다중 네트워크 앙상블 파라미터라이제이션은 오프라인 및 온라인 모두에서 개별 DNN 대비 대류 과정의 표현을 크게 향상시킴.
• 앙상블 접근법을 사용한 온라인 시뮬레이션은 5개월 이상 안정적으로 유지되며, 반면 개별 DNN를 사용한 시뮬레이션은 응축 물 기울기 추정의 불안정성으로 인해 수일 내로 붕괴됨.
• VAE 기반 확률적 파라미터라이제이션은 드롭아웃 기반 DNN 앙상블 대비 더 현실적인 대류 과정 예측 산란을 생성함으로써, 더 나은 불확실성 정량화를 나타냄.
• 앙상블 파라미터라이제이션은 극단적 강수량과 강수량 일주기 주기의 시뮬레이션을 향상시켜, 기존 전통적 파라미터라이제이션보다 기준 슈퍼파라미터라이제이션에 더 가까워짐.
• 개선에도 불구하고 평균 강수 패턴의 충실한 표현은 여전히 과제로 남아 있어, 대기 순환의 거시적 시뮬레이션 한계가 계속 존재함을 시사함.
• 제안된 부분 결합 전략은 응축 물 기울기 추정 문제를 효과적으로 우회하여, 종합적인 ESM과의 기계학습 파라미터라이제이션의 안정적인 온라인 통합을 성공적으로 달성함.

Figure 2: Vertical profiles of median coefficient of determination R 2 for specific humidity tendency (a), $\boldsymbol{\dot{q}}$ ), temperature tendency (b) $\boldsymbol{\dot{T}}$ ) of DNN-dropout (solid navy blue); $\mathrm{\overline{DNN}}$ and DNN-ensemble (solid and dashed black), $\mathrm{\over