[논문 리뷰] KARINA: An Efficient Deep Learning Model for Global Weather Forecast

Minjong Cheon, Yo-Hwan Choi외 4명|arXiv (Cornell University)|2024. 03. 13.

Computational Physics and Python Applications인용 수 4

한 줄 요약

KARINA는 전 세계 기상 예측을 위한 계산 효율성이 높은 딥러닝 모델로, ConvNext, SENet, Geocyclic Padding를 조합하여 Pangu-Weather나 GraphCast와 같은 고해상도 모델 수준의 예측 정확도를 달성한다. 이는 단지 4장의 NVIDIA A100 GPU와 12시간 미만의 훈련 시간으로 이뤄졌다. 7일 예측 리더십 시간에서 ECMWF S2S 재예측보다 뛰어나며, 100배 적은 픽셀 수를 가진 2.5° 해상도 데이터로 훈련된 상태에서도 최신 기술 수준(SOTA) 모델과 맞먹는 성능을 보였다.

ABSTRACT

Deep learning-based, data-driven models are gaining prevalence in climate research, particularly for global weather prediction. However, training the global weather data at high resolution requires massive computational resources. Therefore, we present a new model named KARINA to overcome the substantial computational demands typical of this field. This model achieves forecasting accuracy comparable to higher-resolution counterparts with significantly less computational resources, requiring only 4 NVIDIA A100 GPUs and less than 12 hours of training. KARINA combines ConvNext, SENet, and Geocyclic Padding to enhance weather forecasting at a 2.5° resolution, which could filter out high-frequency noise. Geocyclic Padding preserves pixels at the lateral boundary of the input image, thereby maintaining atmospheric flow continuity in the spherical Earth. SENet dynamically improves feature response, advancing atmospheric process modeling, particularly in the vertical column process as numerous channels. In this vein, KARINA sets new benchmarks in weather forecasting accuracy, surpassing existing models like the ECMWF S2S reforecasts at a lead time of up to 7 days. Remarkably, KARINA achieved competitive performance even when compared to the recently developed models (Pangu-Weather, GraphCast, ClimaX, and FourCastNet) trained with high-resolution data having 100 times larger pixels. Conclusively, KARINA significantly advances global weather forecasting by efficiently modeling Earth's atmosphere with improved accuracy and resource efficiency.

연구 동기 및 목표

• 전 세계 기상 예측을 위한 고해상도 딥러닝 모델 훈련에 소요되는 높은 계산 비용을 해결하기 위해.
• 거대한 계산 자원에 의존하지 않고도 2.5° 해상도에서 예측 정확도를 향상시키기 위해.
• 새로운 아키텍처 구성 요소를 통해 기후 데이터의 공간적 및 수직적 특징 표현을 향상시키기 위해.
• 훈련 시간과 하드웨어 요구 사항을 크게 줄여 최신 기술 수준(SOTA) 성능을 달성하는 모델을 개발하기 위해.

제안 방법

• KARINA는 ERA5 데이터셋의 고차원 공간 데이터 처리를 위해 ConvNext를 통합한다.
• 채널 기반 특징 재조정을 위해 SENet을 통합하여 수직 기둥 전체의 대기 과정 표현을 향상시킨다.
• 지구의 구형 표면 투영에서 가장자리의 경계 연속성을 유지하기 위해 Geocyclic Padding을 도입하여 대기 흐름의 무결성을 유지한다.
• 표준 자동재귀 예측 설정을 사용하여 매일 평균 ERA5 재분석 데이터를 2.5° 해상도에서 훈련한다.
• 특정 변수에서의 성능 향상을 위해 피취팅 전략을 적용하여 일반화 능력과 강건성을 향상시킨다.
• 추론 효율성과 확장성을 최적화하여 최소한의 하드웨어로도 빠른 훈련이 가능하도록 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 자원으로 2.5° 해상도에서 최신 기술 수준(SOTA) 기상 예측 정확도를 달성할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 Geocyclic Padding은 전 세계 기상 데이터의 적도 및 측면 경계에서 모델 성능을 어떻게 향상시키는가?
• RQ3 SENet은 ConvNext 기반 아키텍처에서 수직 대기 과정 모델링을 얼마나 향상시키는가?
• RQ4 KARINA는 ECMWF S2S 재예측 및 Pangu-Weather, GraphCast와 같은 다른 최신 기술 수준(SOTA) 모델과 비교해 어떤 성능을 보이는가?
• RQ5 낮은 해상도 데이터로 훈련된 모델이 100배 높은 해상도 입력으로 훈련된 모델의 성능을 따라잡을 수 있는가?

주요 결과

• KARINA는 Z500에 대해 7일 예측 RMSE가 463.65로, Pangu-Weather(504.90)와 GraphCast(466.53)와 유사한 성능을 보였으며, 픽셀 수가 1/100에 불과한 점을 감안할 때 놀라운 성과를 거두었다.
• TCWV, T2M, Z500에 대해 모든 7일 예측 기간 동안 ECMWF S2S 재예측보다 낮은 RMSE를 기록하여 전반적으로 뛰어난 성능을 보였다.
• Geocyclic Padding은 북유럽 지역의 고기압 시스템의 진폭과 냉기압의 강도를 크게 향상시켜 ERA5의 북대서양 진동 패tern과 밀도 있게 일치시켰다.
• SENet은 남서풍의 세밀한 특징과 북아프리카 지역의 기온 상승을 더 잘 포착할 수 있도록 모델 능력을 향상시켰다.
• KARINA는 단지 4장의 NVIDIA A100 GPU에서 12시간 미만의 훈련으로도 경쟁 가능한 성능을 달성했으며, Pangu-Weather(192장의 V100, 64일)와 같은 모델에 비해 자원 소비를 극적으로 줄였다.
• 튜닝된 KARINA 버전(KARINA_Tuned)은 기본 모델 대비 평균 0.8%의 RMSE 감소를 기록하여 피취팅 전략의 효과성을 입증했다.