[论文解读] Achieving Conservation of Energy in Neural Network Emulators for Climate Modeling

Tom Beucler, Stephan Rasp+2 more|arXiv (Cornell University)|Jun 15, 2019

Meteorological Phenomena and Simulations参考文献 9被引用 103

一句话总结

该论文提出两种方法在神经网络仿真器中强制线性守恒定律，以用于气候模型：约束损失函数和约束网络架构，显示架构约束可实现精确守恒并对气候变化情景具有更好的泛化。

ABSTRACT

Artificial neural-networks have the potential to emulate cloud processes with higher accuracy than the semi-empirical emulators currently used in climate models. However, neural-network models do not intrinsically conserve energy and mass, which is an obstacle to using them for long-term climate predictions. Here, we propose two methods to enforce linear conservation laws in neural-network emulators of physical models: Constraining (1) the loss function or (2) the architecture of the network itself. Applied to the emulation of explicitly-resolved cloud processes in a prototype multi-scale climate model, we show that architecture constraints can enforce conservation laws to satisfactory numerical precision, while all constraints help the neural-network better generalize to conditions outside of its training set, such as global warming.

研究动机与目标

• 在气候模型中说服使用数据驱动的神经仿真器用于云过程，同时解决能量/质量守恒问题。
• 提出两种在神经网络中强制物理约束的方法：损失函数约束和基于架构的守恒层。
• 在一个原型多尺度气候模型中的对流参数化上展示这些方法。
• 评估约束如何影响数值守恒以及对升温情景的泛化能力。

提出的方法

• 将物理约束形式化为一个线性系统 C[x; y] = 0，关联输入输出。
• 用均方误差(MSE)作为目标训练标准。
• 通过在损失中增加惩罚 P = ||C[x; y_NN]||，并设权重 alpha，引入约束损失（NNL）。
• 引入架构约束网络（NNA），具有 n 个守恒层，通过在前向传递中求解受约束的输出分量来强制 C[x; y_NN] = 0。
• 应用于气候模型中对云过程的仿真，使用一个5层、512节点的网络，带泄漏ReLU激活，在3个月30分钟气候数据上训练。
• 对两组验证数据集进行评估：(+0K) 和 (+4K) 的海洋世界变暖情景，关注守恒惩罚和MSE。

实验结果

研究问题

• RQ1 是否可以在物理气候过程的神经网络仿真器中强制线性守恒定律？
• RQ2 在保留能量/质量以及在变暖情景下改善泛化方面，损失函数惩罚与架构约束层的效果有何差异？
• RQ3 约束架构是否能在气候扰动下实现数值精确的守恒并改进辐射强迫预测？

主要发现

• 架构约束网络（NNA）将守恒定律强制到数值精度，所有验证集上的守恒惩罚非常小。
• 带有平衡或较小惩罚权重的约束损失也能改善泛化，有时在升温情景上优于无约束模型。
• 所有约束方法均优于基线的多元线性回归模型，并相较于无约束网络减少能量/质量/辐射守恒违规。
• 相比无约束模型，在未见的升温条件(+4K)下，包含物理约束的网络的泛化更好，辐射预测保真度（外太长波辐射的R^2）更高。
• 在损失函数中使用非常小的惩罚（alpha ≈ 0.01）在参考数据集上取得最佳性能，同时仍保持有利的泛化特性。