[论文解读] Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles

Y. S. Lin, Sungduk Yu+7 more|arXiv (Cornell University)|Sep 28, 2023

Climate variability and models被引用 5

一句话总结

本文提出了一套可扩展的软件流水线，用于在大规模耦合气候模拟中训练和评估330个机器学习（ML）参数化方案，揭示了离线性能无法准确预测在线稳定性。关键改进包括气候不变的特征变换、引入对流记忆以及扩展输入向量，这些措施共同降低了在线误差并稳定了模拟结果——凸显了大规模在线采样在检测细微设计影响方面的必要性。

ABSTRACT

Machine-learning (ML) parameterizations of subgrid processes (here of turbulence, convection, and radiation) may one day replace conventional parameterizations by emulating high-resolution physics without the cost of explicit simulation. However, uncertainty about the relationship between offline and online performance (i.e., when integrated with a large-scale general circulation model (GCM)) hinders their development. Much of this uncertainty stems from limited sampling of the noisy, emergent effects of upstream ML design decisions on downstream online hybrid simulation. Our work rectifies the sampling issue via the construction of a semi-automated, end-to-end pipeline for $\mathcal{O}(100)$ size ensembles of hybrid simulations, revealing important nuances in how systematic reductions in offline error manifest in changes to online error and online stability. For example, removing dropout and switching from a Mean Squared Error (MSE) to a Mean Absolute Error (MAE) loss both reduce offline error, but they have opposite effects on online error and online stability. Other design decisions, like incorporating memory, converting moisture input from specific humidity to relative humidity, using batch normalization, and training on multiple climates do not come with any such compromises. Finally, we show that ensemble sizes of $\mathcal{O}(100)$ may be necessary to reliably detect causally relevant differences online. By enabling rapid online experimentation at scale, we can empirically settle debates regarding subgrid ML parameterization design that would have otherwise remained unresolved in the noise.

研究动机与目标

• 为解决机器学习参数化气候模型中在线性能不稳定的问题，该问题限制了混合物理-机器学习气候模拟的进展。
• 系统评估设计选择（如输入特征、记忆机制和网络架构）对在线模拟稳定性与准确率的影响。
• 开发一种可扩展、自动化的流水线，用于在耦合气候模型中训练和评估数百个机器学习参数化方案。
• 量化离线与在线误差统计之间的差距，表明离线指标无法有效预测在线性能。
• 识别出能降低外推误差并提升长期气候模拟中模型稳定性的稳健设计策略。

提出的方法

• 开发了端到端、模块化且可复现的软件流水线，支持在耦合气候模型中自动训练和部署330种不同的神经网络参数化方案。
• 在四种配置下系统性地进行超参数与架构搜索：RH（相对湿度）、EV（扩展向量）、PT（参数化时间）以及非因果基线。
• 应用气候不变的特征变换（例如，将混合比转换为相对湿度），以减少动态模拟中的外推误差。
• 将时间记忆机制整合到神经网络中，以提升在线模拟中时间步之间的预测一致性。
• 开展大规模在线集合模拟（O(100)），以采样并比较不同配置下的下游性能。
• 使用统计分析比较在线误差分布，并在离线误差相似的情况下检测出显著差异。

Figure 1: Comparing offline test errors for subgrid heating (1a) and moistening (1b) tendencies, ranked by the overall validation mean-squared error, highlights the PT configuration’s consistent superiority over other setups (purple line). The ability to minimize offline test error is weakest for th

实验结果

研究问题

• RQ1 在机器学习参数化气候模拟中，离线模型性能与在线稳定性之间存在何种相关性？
• RQ2 气候不变的特征变换在多大程度上能减少在线模拟中的外推误差？
• RQ3 在神经网络参数化中引入时间记忆机制对在线模拟稳定性有何影响？
• RQ4 不同输入特征集（如扩展输入与最小输入）如何影响在线误差的离散度与模型可靠性？
• RQ5 为可靠检测设计选择对机器学习参数化性能的影响，需要多大规模的在线采样？

主要发现

• 离线误差无法准确预测在线性能，即使离线指标相近，其在线误差仍存在显著差异。
• 将输入特征转换为气候不变形式（例如，使用相对湿度而非混合比）可显著降低外推误差并提升模拟稳定性。
• 在神经网络架构中引入时间记忆机制后，相比非因果模型，其在线性能更加一致且稳定。
• 通过引入因果相关的变量扩展输入特征向量，可降低在线误差并提升模型鲁棒性。
• 在表现最佳的模型中，持续出现的平流层偏差，表明存在关键缺陷，需针对性地改进设计。
• 为可靠检测设计选择的统计影响，至少需要330次在线模拟（O(100)集合），因为在线误差具有高度离散性。

Figure 2: 2a and 2b show histograms of the average temperature and humidity RMSE for neural network runs that did not crash. The legend in 2b indicates the number of plots that ran without crashing for each configuration. Both histograms include stratospheric error.