[논문 리뷰] Learning bias corrections for climate models using deep neural operators

Aniruddha Bora, Khemraj Shukla외 4명|arXiv (Cornell University)|2023. 02. 07.

Climate variability and models인용 수 6

한 줄 요약

이 논문은 기후 모델의 편향 보정 나침선 모듈을 대체하기 위해 자동에코더 기반의 잠재 공간 압축으로 향상된 딥 오퍼레이터 네트워크(DeepONet)를 제안한다. E3SMv2 시뮬레이션을 ERA5 재분석 자료로 나침선 처리한 데이터를 기반으로 훈련하여, 축 방향 및 수직 방향 바람의 나침선 경향을 높은 정확도로 예측하며, 상관계수 >0.7를 달성하고 허리케인 샌디의 경로를 성공적으로 재현함으로써 강력한 일반화 능력과 지구 시스템 모델에서의 온라인 구현 가능성을 입증한다.

ABSTRACT

Numerical simulation for climate modeling resolving all important scales is a computationally taxing process. Therefore, to circumvent this issue a low resolution simulation is performed, which is subsequently corrected for bias using reanalyzed data (ERA5), known as nudging correction. The existing implementation for nudging correction uses a relaxation based method for the algebraic difference between low resolution and ERA5 data. In this study, we replace the bias correction process with a surrogate model based on the Deep Operator Network (DeepONet). DeepONet (Deep Operator Neural Network) learns the mapping from the state before nudging (a functional) to the nudging tendency (another functional). The nudging tendency is a very high dimensional data albeit having many low energy modes. Therefore, the DeepoNet is combined with a convolution based auto-encoder-decoder (AED) architecture in order to learn the nudging tendency in a lower dimensional latent space efficiently. The accuracy of the DeepONet model is tested against the nudging tendency obtained from the E3SMv2 (Energy Exascale Earth System Model) and shows good agreement. The overarching goal of this work is to deploy the DeepONet model in an online setting and replace the nudging module in the E3SM loop for better efficiency and accuracy.

연구 동기 및 목표

• 기존의 나침선 처리 방식을 데이터 기반 대체 모델로 교체함으로써 저해상도 기후 모델의 편향 보정 정확도와 효율성을 향상시키기.
• 딥 러닝을 활용해 고차원적이면서도 낮은 공명성(coherence)을 보이는 기후 시뮬레이션의 나침선 경향을 학습하는 데 도전하기.
• 신경 오퍼레이터 이론을 활용하여 기존의 데이터 기반 편향 보정 방법을 초월한 일반화 능력을 향상시키기.
• E3SM 시뮬레이션 루프에 통합될 수 있는 대체 모델을 훈련시켜 편향 보정을 온라인 환경에서 구현 가능하게 하기.

제안 방법

• 이 방법은 시공간 좌표에서 사전 나침선 처리된 대기 상태(기능적 입력)에서 나침선 경향(기능적 출력)으로의 사상(mapping)을 DeepONet로 학습한다.
• 고차원 입력(나침선 이전 상태)과 출력(나침선 경향)을 효율적인 학습을 위해 저차원 잠재 공간으로 압축하기 위해 순환 신경망 자동에코더(AED)를 적용한다.
• DeepONet는 3시간 간격의 ERA5 재분석 자료로 나침선 처리된 E3SMv2 시뮬레이션을 기반으로 훈련되며, 모델와 기준 시점의 시간을 일치시키기 위해 시간 간격 보간을 사용한다.
• 자기에코더의 잠재 표현을 각각 브랜치 네트워크와 트렁크 네트워크의 입력으로 사용하여 오퍼레이터 사상 모델링을 수행한다.
• 훈련된 디코딩 네트워크를 사용해 최종 나침선 경향 예측 결과를 물리적 공간으로 복원한다.
• 모델은 2012년 허리케인 샌디 사건을 포함하는 하위 영역(10N–80N, 120W–50W)을 대상으로 검증되며, 상관계수와 공간 정밀도를 평가한다.

Figure 1: A block diagram showing high level view of the autoencoder. Here $\psi_{bf}(z,\bar{x},\bar{y},t)$ and $\psi_{ndg}(z,\bar{x},\bar{y},t)$ are the input to the encoders $Encoder_{bf}$ (encoder for before nudged data) and $Encoder_{ndg}$ (encoder for nudging tendency) respectively. $\hat{\psi}

실험 결과

연구 질문

• RQ1 딥오퍼레이터 네트워크 대체 모델이 저해상도 기후 시뮬레이션의 편향을 보정하기 위해 필요한 복잡한 고차원 나침선 경향을 정확하게 학습할 수 있는가?
• RQ2 딥오퍼레이터 네트워크 프레임워크에 자동에코더를 통합함으로써 기후 모델의 편향 보정에서 학습 효율성과 정확도가 어떻게 향상되는가?
• RQ3 딥오퍼레이터 네트워크 모델이 허리케인 샌디와 같은 주요 기상 사건의 경로를 얼마나 잘 일반화하여 재현할 수 있는가?
• RQ4 딥오퍼레이터 네트워크 기반 보정이 지구 시스템 모델에서 기존의 나침선 처리 방식을 대체하기 위해 온라인 시뮬레이션 환경에서 효과적으로 구현될 수 있는가?
• RQ5 상관계수와 공간 오차 측면에서, 모델의 성능이 원본 E3SMv2 나침선 처리 방법과 정량적으로 비교해 볼 때 어떻게 되는가?

주요 결과

• 딥오퍼레이터 네트워크 모델은 테스트 영역 전역에서 E3SMv2 나침선 경향과 상관계수 >0.7를 달성하여 축 방향 및 수직 방향 바람 성분에 대한 강력한 예측 정확도를 보였다.
• 모델은 2012년 허리케인 샌디의 경로를 성공적으로 재현하여 복잡한 대기역학을 시뮬레이션할 때의 강건성과 물리적 타당성을 입증했다.
• 자기에코더의 사용으로 효과적인 차원 축소가 이루어져, 원시 공간에서의 고에너지·고차원 나침선 경향을 더 효율적으로 학습할 수 있었다.
• 딥오퍼레이터 네트워크 예측치와 E3SMv2 나침선 경향 간의 포인트별 오차는 공간 및 시간 스케일 전반에서 낮게 유지되어 공간 일관성을 확인했다.
• 모델의 성능은 높은 대기 변동성을 보이는 영역에서 검증되었으며, 동역학적으로 복잡한 시스템을 처리할 수 있는 능력을 확인했다.
• 결과는 딥오퍼레이터 네트워크 대체 모델을 E3SM 시뮬레이션 루프에 통합하여 온라인 실시간 편향 보정을 구현할 수 있음을 뒷받침한다.

Figure 2: A block diagram showing a high level view of the DeepONet. $\hat{\psi}_{bf}(z\times ld,t)$ (latent space representation of before nudged state) is the input for the branch network and $t$ is the time which the input to the trunk network, which is the time for which we want to predict the n