[논문 리뷰] Robustness of AI-based weather forecasts in a changing climate

Thomas Rackow, Nikolay Koldunov외 10명|ArXiv.org|2024. 09. 27.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 3

한 줄 요약

이 연구는 현행 기후, 고전기 기후, 허브 기후 조건에서 최신의 AI 기반 기상 예측 모델—AIFS, GraphCast, Pangu-Weather의 정교함을 평가한다. 훈련은 오직 현행 기후의 ERA5 재분석 자료(1979–2018)를 기반으로 수행되었지만, 모든 기후 상태에서 유의미한 예측 성능을 보이며, 분포 외 일반화 능력이 뛰어나다. 그러나 두 모델은 더 따뜻한 기후에서 체계적인 냉각 편향을 보이며, 더 차가운 기후에서는 가열 편향을 보이며, 이는 훈련 시 해양-ice 및 지표면 데이터 누락과 관련이 있다.

ABSTRACT

Data-driven machine learning models for weather forecasting have made transformational progress in the last 1-2 years, with state-of-the-art ones now outperforming the best physics-based models for a wide range of skill scores. Given the strong links between weather and climate modelling, this raises the question whether machine learning models could also revolutionize climate science, for example by informing mitigation and adaptation to climate change or to generate larger ensembles for more robust uncertainty estimates. Here, we show that current state-of-the-art machine learning models trained for weather forecasting in present-day climate produce skillful forecasts across different climate states corresponding to pre-industrial, present-day, and future 2.9K warmer climates. This indicates that the dynamics shaping the weather on short timescales may not differ fundamentally in a changing climate. It also demonstrates out-of-distribution generalization capabilities of the machine learning models that are a critical prerequisite for climate applications. Nonetheless, two of the models show a global-mean cold bias in the forecasts for the future warmer climate state, i.e. they drift towards the colder present-day climate they have been trained for. A similar result is obtained for the pre-industrial case where two out of three models show a warming. We discuss possible remedies for these biases and analyze their spatial distribution, revealing complex warming and cooling patterns that are partly related to missing ocean-sea ice and land surface information in the training data. Despite these current limitations, our results suggest that data-driven machine learning models will provide powerful tools for climate science and transform established approaches by complementing conventional physics-based models.

연구 동기 및 목표

• 현재 기후 데이터로 훈련된 데이터 기반 AI 기상 모델이 고전기 및 미래의 따뜻한 기후 상태에서도 일반화 가능한가를 평가하는 것.
• 기후 변화의 극단적 이동에 대비한 AI 기반 예측의 정교함을 평가하여 기후 예측 및 적응 계획 수립에 기여하는 것.
• 기후 조건이 변화한 상황에서 AI 예측에 나타나는 체계적 편향을 규명하고 그 원인을 조사하는 것.
• AI 모델이 전통적인 물리 기반 모델을 보완할 수 있는 신뢰할 수 있는 도구로 기후 과학에 활용될 수 있는지 판단하는 것.

제안 방법

• 현행 기후 조건을 위해 1979–2018년 ERA5 재분석 자료를 기반으로 최신 AI 기상 모델 세 종류—AIFS, GraphCast, Pangu-Weather를 훈련시켰다.
• 10일간의 중기 예측을 통해 세 기후 상태(고전기: 1955년, 현행 기후: 2023년, +2.9K 따뜻한 미래: 2049년)에서 2m 기온 예측 성능을 평가했다.
• 예측 정확도와 이격도를 측정하기 위해 루트 평균 제곱 오차(RMSE) 및 편향 지표를 사용하였으며, 위도의余弦으로 가중 처리하였다.
• AI 예측 결과를 운영용 ECMWF IFS 예측과 비교하고, 편향의 공간적 패턴을 분석했다.
• 훈련 데이터에서 해양-빙상 및 지표면 데이터 누락이 미치는 영향을 기후 상태 간 모델 행동을 비교함으로써 조사했다.
• 예측 정확도와 편향 추정의 신뢰성을 확보하기 위해 일일 예측 결과를 통계적으로 평균 처리하였다.

실험 결과

연구 질문

• RQ1 AI 기반 기상 예측 모델이 현행 기후 데이터로 훈련된 후 고전기 및 미래의 따뜻한 기후 상태에서도 유의미한 예측을 수행할 수 있는가?
• RQ2 AI 모델이 훈련 분포 외의 환경에서, 특히 극단적인 기후 상태에서 체계적 편향을 보이는가?
• RQ3 다른 기후 상태에서 예측 편향의 공간적 패턴은 어떻게 되며, 이는 훈련 데이터에서 물리적 구성 요소가 누락된 것과 어떤 관련이 있는가?
• RQ4 단기 예측을 위해 훈련된 AI 모델이 단지 기후 제도 간 물리적 일관성 있는 동역학을 얼마나 잘 일반화하는가?
• RQ5 AI 모델이 기후 예측 작업(예: 대규모 예측 집합 생성, 적응 전략 수립 등)에 신뢰성 있게 활용될 수 있는가?

주요 결과

• AIFS, GraphCast, Pangu-Weather의 세 AI 모델 모두 고전기, 현행 기후, +2.9K 따뜻한 미래 기후 상태에서 10일간의 2m 기온 예측을 성공적으로 수행하며, 분포 외 일반화 능력이 뛰어나다.
• 두 모델(AIFS 및 Pangu-Weather)은 +2.9K 따뜻한 기후에서 세계 평균 냉각 편향을 보이며, 훈련에 사용된 더 차가운 현행 기후 상태로 경향을 보인다.
• 고전기 기후에서는 세 모델 중 두 개가 가열 편향을 보이며, 냉각 조건에서 비대칭적인 편향 행동이 나타남을 시사한다.
• 공간적 편향 패턴은 특히 해양 및 극지역에서 복잡한 지역적 가열 및 냉각 추세를 보이며, 해양-빙상 및 지표면 과정의 표현이 불완전함을 시사한다.
• 이 편향은 훈련 데이터에서 해양-빙상 및 지표면 데이터의 부재와 강하게 상관되어 있으며, 현재 AI 모델 설계의 핵심적 한계를 드러낸다.
• 편향이 존재하더라도 모든 기후 상태에서 높은 예측 정확도를 유지하므로, 향후 기후 응용 분야에서 물리 기반 기후 모델과의 보완적 역할을 수행할 수 있는 강력한 도구가 될 수 있다.