[论文解读] Climate-Invariant Machine Learning

Tom Beucler, Pierre Gentine+11 more|arXiv (Cornell University)|Dec 14, 2021

Climate variability and models被引用 28

一句话总结

本文提出了气候不变的机器学习（climate-invariant ML），这是一个受物理信息驱动的框架，通过对输入/输出进行变换，使学习映射在不同气候下保持稳定，从而提高三种大气模型中亚网格闭合的泛化能力。

ABSTRACT

Projecting climate change is a generalization problem: we extrapolate the recent past using physical models across past, present, and future climates. Current climate models require representations of processes that occur at scales smaller than model grid size, which have been the main source of model projection uncertainty. Recent machine learning (ML) algorithms hold promise to improve such process representations, but tend to extrapolate poorly to climate regimes they were not trained on. To get the best of the physical and statistical worlds, we propose a new framework - termed "climate-invariant" ML - incorporating knowledge of climate processes into ML algorithms, and show that it can maintain high offline accuracy across a wide range of climate conditions and configurations in three distinct atmospheric models. Our results suggest that explicitly incorporating physical knowledge into data-driven models of Earth system processes can improve their consistency, data efficiency, and generalizability across climate regimes.

研究动机与目标

• 阐明需要能够跨气候区间泛化、减少气候预测外推误差的机器学习模型的动机。
• 定义并实现气候不变变换，以在不同气候下对齐输入/输出分布。
• 展示气候不变 ML 闭合在多种大气模型与配置下的鲁棒性与泛化能力。
• 探索将物理变换与正则化结合如何提升数据利用效率以及跨气候的迁移能力。

提出的方法

• 通过对输入/输出进行变换，使它们在不同气候下的分布尽量保持最小变化，介绍气候不变映射概念。
• 为输入如相对湿度、潮湿静态能量浮力，以及近地面潜热通量等开发物理信息驱动的变换。
• 在三种能解析风暴的气候模型（SPCAM3、SPCESM2、SAM）上，针对冷、参考、暖气候运行，对 ML 闭合进行训练和评估。
• 将气候不变模型（CI）与原始数据模型（RD）进行比较，并评估正则化（批量归一化、 dropout）的影响。
• 使用包括亚网格加热和增湿趋势在内的地球系统相关输出，以评估泛化能力。
• 应用基于 SHAP 的可解释 AI 来解释为何气候不变映射在跨气候泛化更好。

实验结果

研究问题

• RQ1 物理信息驱动的输入变换是否能在亚网格闭合上稳定跨气候的 ML 映射？
• RQ2 气候不变变换是否在不同气候区和配置中实现更好的分布外泛化？
• RQ3 正则化技术如何与气候不变输入相互作用以影响泛化？
• RQ4 与原始数据映射相比，气候不变映射表现出哪些结构性差异？

主要发现

• 使用气候信息驱动的函数对输入进行变换显著提升 ML 闭合在跨气候的泛化能力。
• 在冷气候上训练的气候不变神经网络相较于原始数据神经网络，在温暖气候上泛化时误差显著较低。
• 将气候不变变换与正则化（BN、 DP）结合，获得跨气候与配置的最佳泛化能力。
• CI 映射往往具有更局部的空间特征，通过 SHAP 分析有助于可解释性。
• CI 模型在暖气候训练性能方面具有竞争力，同时避免了 RD 模型常见的外推风险。