[论文解读] ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning

Julia Kaltenborn, Charlotte Emilie Elektra Lange+7 more|arXiv (Cornell University)|Nov 7, 2023

Scientific Computing and Data Management被引用 5

一句话总结

ClimateSet 是一个大规模、一致且适用于机器学习的数据库，包含来自 36 个 CMIP6 和 Input4MIPs 气候模型的输入和输出数据，支持多模型机器学习用于气候模拟。它可训练‘超级模拟器’以实现跨模型的泛化，实验表明 U-Net 和 ConvLSTM 表现优异，且迁移学习显著提升了泛化能力，尤其在 ClimaX Frozen 等模型上表现突出。

ABSTRACT

Climate models have been key for assessing the impact of climate change and simulating future climate scenarios. The machine learning (ML) community has taken an increased interest in supporting climate scientists' efforts on various tasks such as climate model emulation, downscaling, and prediction tasks. Many of those tasks have been addressed on datasets created with single climate models. However, both the climate science and ML communities have suggested that to address those tasks at scale, we need large, consistent, and ML-ready climate model datasets. Here, we introduce ClimateSet, a dataset containing the inputs and outputs of 36 climate models from the Input4MIPs and CMIP6 archives. In addition, we provide a modular dataset pipeline for retrieving and preprocessing additional climate models and scenarios. We showcase the potential of our dataset by using it as a benchmark for ML-based climate model emulation. We gain new insights about the performance and generalization capabilities of the different ML models by analyzing their performance across different climate models. Furthermore, the dataset can be used to train an ML emulator on several climate models instead of just one. Such a "super emulator" can quickly project new climate change scenarios, complementing existing scenarios already provided to policymakers. We believe ClimateSet will create the basis needed for the ML community to tackle climate-related tasks at scale.

研究动机与目标

• 为解决多模型训练缺乏大规模、一致且适用于机器学习的气候模型数据集的问题。
• 使机器学习模型能够泛化于多种气候模型，而非依赖单一模型的数据。
• 支持可扩展的气候建模任务，如模拟、降尺度化和情景预测。
• 提供一个模块化流程，用于检索和预处理额外的气候模型与情景。
• 通过在多样化机器学习架构上进行基准测试，展示多模型训练的价值。

提出的方法

• 该数据集汇集了来自 CMIP6 和 Input4MIPs 的 36 个气候模型，涵盖大气、海洋和陆面表面变量。
• 通过模块化流程对数据进行预处理，以确保所有模型在空间和时间分辨率上的一致性。
• 该数据集支持在多个气候模型上同时进行机器学习模型的训练与评估，从而实现‘超级模拟器’的训练。
• 实验使用标准的机器学习模型，包括 U-Net、ConvLSTM 和 ClimaX，对地表空气温度（TAS）和降水（PR）进行气候模拟。
• 通过在某一模型上预训练并在另一模型上微调，应用迁移学习以评估泛化能力。
• 通过在多个模型和情景下的测试集上计算均方根误差（RMSE）来评估性能。

实验结果

研究问题

• RQ1 当在一个大规模、一致的多模型数据集上进行训练时，单一机器学习模型是否能有效泛化于多种气候模型？
• RQ2 与单模型模拟相比，多模型训练（超级模拟）在预测准确性和鲁棒性方面表现如何？
• RQ3 在迁移学习设置下，哪些机器学习架构在不同气候模型之间展现出最佳泛化能力？
• RQ4 在一个气候模型上进行预训练，能在多大程度上提升在另一模型上的性能？
• RQ5 在多个模型上训练的‘超级模拟器’是否能加速为政策制定者提供气候情景预测？

主要发现

• 在多个气候模型上训练的超级模拟器表现出具有竞争力的性能，其中 ConvLSTM 在所有选定数据集中表现最佳。
• 在微调实验中，U-Net 表现优于其他模型，表明其在不同气候模型之间具备强大的泛化能力。
• ClimaX Frozen 在微调中获得最大的性能提升，表明若在多样化模型上进行预训练，仍有显著的改进空间。
• 在 BCC-CSM2-MR 和 EC-Earth3 等模型上进行预训练，可提升 NorESM2-LM 的性能，证明了所学模式的可迁移性。
• 表 8 中的正向 RMSE 差异表明，微调始终能提升性能，证实气候模型之间存在可迁移的模式。
• 模块化流程支持可扩展的额外气候模型检索与预处理，为数据集的未来扩展提供了支持。