[论文解读] Inductive biases in deep learning models for weather prediction

Jannik Thuemmel, Matthias Karlbauer+9 more|arXiv (Cornell University)|Apr 6, 2023

Hydrological Forecasting Using AI被引用 15

一句话总结

本论文评估六种最先进的 DLWP 模型中的归纳偏差，分析数据选择、目标、损失、架构和优化器，并讨论未来在基础模型与物理信息偏差方面的方向。

ABSTRACT

Deep learning has gained immense popularity in the Earth sciences as it enables us to formulate purely data-driven models of complex Earth system processes. Deep learning-based weather prediction (DLWP) models have made significant progress in the last few years, achieving forecast skills comparable to established numerical weather prediction models with comparatively lesser computational costs. In order to train accurate, reliable, and tractable DLWP models with several millions of parameters, the model design needs to incorporate suitable inductive biases that encode structural assumptions about the data and the modelled processes. When chosen appropriately, these biases enable faster learning and better generalisation to unseen data. Although inductive biases play a crucial role in successful DLWP models, they are often not stated explicitly and their contribution to model performance remains unclear. Here, we review and analyse the inductive biases of state-of-the-art DLWP models with respect to five key design elements: data selection, learning objective, loss function, architecture, and optimisation method. We identify the most important inductive biases and highlight potential avenues towards more efficient and probabilistic DLWP models.

研究动机与目标

• 在气候变化条件下，倡导将基于深度学习的天气预报（DLWP）作为传统数值天气预报（NWP）的数据驱动替代方案。
• 系统性地识别并阐述当前顶尖 DLWP 模型中隐含的归纳偏差。
• 评估在数据、目标、损失、架构和优化等设计选择如何影响学习、泛化和不确定性。
• 概述未来的研究方向，包括基础模型和显式的物理信息偏差整合，以提升 DLWP 的性能。

提出的方法

• 评述六个高性能 DLWP 模型（R21、E21、W21、P22、K22、H22），并将其设计选择映射到归纳偏差。
• 将每个模型拆解为五个设计要素：数据选择、学习目标、损失组成、神经架构和优化策略。
• 示意每个设计选择如何编码关于大气动力学和亚格子过程的假设。
• 比较迭代式与直接预测、概率输出与确定性输出、残差预测与绝对预测策略如何影响学习偏差。
• 讨论损失函数、归一化和不确定性建模，以使优化与验证指标保持一致。

实验结果

研究问题

• RQ1 六个 DLWP 模型中，数据选择、预测目标、损失函数、架构和优化所编码的归纳偏差是什么？
• RQ2 这些偏差如何影响短期至中期预报的学习效率、泛化和不确定性量化？
• RQ3 哪些未来方向（如基础模型、物理信息先验）可能在次季至季尺度上塑造 DLWP 的性能？

主要发现

• DLWP 模型在数据输入、预测目标和损失设计等方面融入多样的归纳偏差，从而驱动性能和泛化。
• 迭代式和概率性预测方法有助于管理误差累积，并在较长预测中表示不确定性。
• 生成式组件（GANs、VAEs、动态 VAE）有助于建模预测不确定性和集合分布，尤其是对长程预测。
• 高分辨率数据和物理信息输入（如地形、陆海掩模、日照辐射等）被用来编码领域结构并提高技能。
• 作者预测将向在大型数据集上训练、带有显式物理先验的基础模型转变，以在次季至季尺度保持性能。