[논문 리뷰] ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning

Julia Kaltenborn, Charlotte Emilie Elektra Lange외 7명|arXiv (Cornell University)|2023. 11. 07.

Scientific Computing and Data Management인용 수 5

한 줄 요약

ClimateSet는 36개의 CMIP6 및 Input4MIPs 기후 모델에서 유래한 입력과 출력을 포함하는 대규모이자 일관되며, 기계학습에 적합한 데이터셋으로, 기후 시뮬레이션을 위한 다중 모델 기계학습을 가능하게 한다. 이 데이터셋은 다양한 모델 간 일반화가 가능한 '슈퍼 에미레이터' 학습을 지원하며, 실험 결과 U-Net과 ConvLSTM가 뛰어난 성능을 보이고, 전이 학습이 특히 ClimaX Frozen과 같은 모델에서 일반화 능력을 향상시키는 것으로 나타났다.

ABSTRACT

Climate models have been key for assessing the impact of climate change and simulating future climate scenarios. The machine learning (ML) community has taken an increased interest in supporting climate scientists' efforts on various tasks such as climate model emulation, downscaling, and prediction tasks. Many of those tasks have been addressed on datasets created with single climate models. However, both the climate science and ML communities have suggested that to address those tasks at scale, we need large, consistent, and ML-ready climate model datasets. Here, we introduce ClimateSet, a dataset containing the inputs and outputs of 36 climate models from the Input4MIPs and CMIP6 archives. In addition, we provide a modular dataset pipeline for retrieving and preprocessing additional climate models and scenarios. We showcase the potential of our dataset by using it as a benchmark for ML-based climate model emulation. We gain new insights about the performance and generalization capabilities of the different ML models by analyzing their performance across different climate models. Furthermore, the dataset can be used to train an ML emulator on several climate models instead of just one. Such a "super emulator" can quickly project new climate change scenarios, complementing existing scenarios already provided to policymakers. We believe ClimateSet will create the basis needed for the ML community to tackle climate-related tasks at scale.

연구 동기 및 목표

• 다중 모델 학습을 위한 대규모이자 일관되며 기계학습에 적합한 기후 모델 데이터셋 부족 문제를 해결하기 위해.
• 기계학습 모델이 단일 모델 데이터에 의존하는 대신 다양한 기후 모델 간 일반화할 수 있도록 하기 위해.
• 기후 시뮬레이션, 하향 스케일링, 시나리오 예측과 같은 확장 가능한 기후 모델링 작업을 지원하기 위해.
• 추가 기후 모델과 시나리오의 검색 및 전처리를 위한 모듈러한 파이프라인을 제공하기 위해.
• 다양한 기계학습 아키텍처를 활용한 기후 시뮬레이션 벤치마킹을 통해 다중 모델 학습의 가치를 입증하기 위해.

제안 방법

• CMIP6 및 Input4MIPs 소속 36개 기후 모델의 데이터를 수집하여 통합함. 대기, 해양, 지표면 변수를 포함.
• 모델 간 일관된 공간적·시간적 해상도 확보를 위해 모듈러한 파이프라인을 활용해 데이터 전처리 수행.
• 다양한 기후 모델을 동시에 학습 및 평가할 수 있도록 지원하여 '슈퍼 에미레이터' 학습을 가능하게 함.
• 표준 기계학습 모델인 U-Net, ConvLSTM, ClimaX를 활용해 표면 기온(TAS) 및 강수량(PR)에 대한 기후 시뮬레이션 실험 수행.
• 전이 학습을 적용하기 위해 한 모델에서 사전 학습한 후 다른 모델에서 미세조정하여 일반화 능력 평가.
• 여러 모델과 시나리오에서 테스트 세트의 RMSE를 사용해 성능 평가.

실험 결과

연구 질문

• RQ1 대규모이고 일관된 다중 모델 데이터셋을 기반으로 훈련된 단일 기계학습 모델이 다양한 기후 모델 간 효과적으로 일반화할 수 있는가?
• RQ2 다중 모델 학습(슈퍼 에미레이터)이 단일 모델 기반 시뮬레이션에 비해 예측 정확도와 내구성 측면에서 어떻게 다를까?
• RQ3 전이 학습 환경에서 어떤 기계학습 아키텍처가 다양한 기후 모델 간에 가장 잘 일반화되는가?
• RQ4 한 기후 모델에서 사전 학습한 결과가 다른 모델에서 성능 향상에 얼마나 기여하는가?
• RQ5 여러 모델에서 훈련된 '슈퍼 에미레이터'는 정책 결정자들이 기후 시나리오 예측을 빠르게 수행하는 데 기여할 수 있는가?

주요 결과

• 다양한 기후 모델에서 훈련된 슈퍼 에미레이터는 경쟁력 있는 성능을 기록했으며, 특히 모든 선택된 데이터셋에서 ConvLSTM가 가장 뛰어난 성능을 보였다.
• U-Net은 미세조정 실험에서 다른 모델보다 뛰어난 성능을 보였으며, 기후 모델 간 뛰어난 일반화 능력을 지닌 것으로 나타났다.
• ClimaX Frozen는 미세조정을 통해 가장 큰 성능 향상을 보였으며, 다양한 모델에서 사전 학습을 통해 향후 개선 여지가 크다는 것을 시사한다.
• BCC-CSM2-MR 및 EC-Earth3와 같은 모델에서 사전 학습한 결과, NorESM2-LM에서의 성능 향상이 관찰되어 학습된 패턴의 이식 가능성 확인.
• 표 8의 양의 RMSE 차이 값은 미세조정이 항상 성능 향상에 기여함을 보여주며, 기후 모델 간 이식 가능한 패턴이 존재함을 확인.
• 모듈러한 파이프라인은 향후 데이터셋 확장에 대비해 추가 기후 모델의 검색 및 전처리를 효율적으로 지원함.