[论文解读] ClimSim-Online: A Large Multi-scale Dataset and Framework for Hybrid ML-physics Climate Emulation

Zeyuan Hu|elib (German Aerospace Center)|Jun 14, 2023

Meteorological Phenomena and Simulations被引用 19

一句话总结

ClimSim 提供最大规模的多尺度气候数据集，用于训练混合 ML-物理气候模拟器中亚网格物理的仿真器，具备广泛的输入/输出以及基线模型，展示学习性能。

ABSTRACT

Modern climate projections lack adequate spatial and temporal resolution due to computational constraints, leading to inaccuracies in representing critical processes like thunderstorms that occur on the sub-resolution scale. Hybrid methods combining physics with machine learning (ML) offer faster, higher fidelity climate simulations by outsourcing compute-hungry, high-resolution simulations to ML emulators. However, these hybrid ML-physics simulations require domain-specific data and workflows that have been inaccessible to many ML experts. As an extension of the ClimSim dataset (Yu et al., 2024), we present ClimSim-Online, which also includes an end-to-end workflow for developing hybrid ML-physics simulators. The ClimSim dataset includes 5.7 billion pairs of multivariate input/output vectors, capturing the influence of high-resolution, high-fidelity physics on a host climate simulator's macro-scale state. The dataset is global and spans ten years at a high sampling frequency. We provide a cross-platform, containerized pipeline to integrate ML models into operational climate simulators for hybrid testing. We also implement various ML baselines, alongside a hybrid baseline simulator, to highlight the ML challenges of building stable, skillful emulators. The data (https://huggingface.co/datasets/LEAP/ClimSim_high-res) and code (https://leap-stc.github.io/ClimSim and https://github.com/leap-stc/climsim-online) are publicly released to support the development of hybrid ML-physics and high-fidelity climate simulations.

研究动机与目标

• 为全球尺度模拟器中的亚网格气候过程提供高保真、数据驱动的仿真器的需求提供动机。
• 提供一个大型、公开可用的多尺度数据集，将高分辨率物理与粗粒度气候状态联系起来。
• 建立基线 ML 模型以评估对流、云和辐射效应的仿真。
• 探索扩展输入/输出以及物理信息约束如何影响仿真器性能。

提出的方法

• 使用多尺度气候模拟器（E3SM-MMF）在全球覆盖范围内生成 5.7 billion 样本，研究高分辨率对流物理及其对宏观状态变量的影响。
• 准备具有 124 输入特征和 128 目标输出的 1D 垂直柱样本，表示趋势与通量。
• 提供低分辨率与高分辨率数据集（617x368 扩展输入/输出，作为消融）以及用于快速原型设计的水 ngx 平原变体。
• 在回归任务上对多种基线 ML 架构进行基准测试（CNN 配置 ResNet 模块、Encoder-Decoder、MLP、Heteroskedastic Regression、Randomized Prior Network、cVAE），并使用 MAE 与 R^2 指标。
• 强调物理信息约束（质量/能量守恒）以及随机性/记忆性，以提高泛化与耦合性能。
• 公开发布数据集及配套代码，以实现可重复的 ML 加速气候仿真。

实验结果

研究问题

• RQ1 在来自多尺度气候模型的宏观输入下，ML 仿真器能否准确再现亚网格尺度的对流、微物理和辐射趋势？
• RQ2 扩展输入与输出特征集如何在不同大气层与变量上影响仿真器的准确性？
• RQ3 哪些基线 ML 架构在确定性与随机化仿真气候亚网格过程方面表现最佳，物理约束如何影响结果？
• RQ4 在训练通用仿真器与下游耦合方面，使用低分辨率与高分辨率数据集有何不同影响？
• RQ5 ClimSim 数据集如何为未来在随机性、记忆效应和气候仿真中的因果关系研究提供启示？

主要发现

• 最佳基线在不同变量上表现出不同的技能水平；例如，dT/dt 的最佳表现来自于带有 R^2 约为 0.59 的 MLP，且在上层大气中 CNN 有时表现更好。
• NETSW 显示出强大的性能，R^2 最高可达约 0.98，MAE 根据架构在约 14–19 W/m^2。
• SOLS/SOLL/SO LSD 变量通常表现出较高的 R^2（约 0.92–0.96），根据架构 MAE 在 7–14 W/m^2 范围内。
• 高分辨率仿真器的 MAE 较大，因为数据方差增加，但在许多变量上仍与低分辨率模型的 R^2 相当。
• 扩展输入/目标（617/368）通常能提升目标变量的再现性，尤其是降水，在两种分辨率下都如此。
• 以 conservation 为灵感的约束和随机架构（RPN、HSR、cVAE）有助于提高泛化性和物理上合理的输出。