[论文解读] A Variational U-Net for Weather Forecasting

Pak Hay Kwok, Qi Qi|arXiv (Cornell University)|Nov 5, 2021

Meteorological Phenomena and Simulations参考文献 9被引用 6

一句话总结

本文提出了一种变分U-Net，将变分自编码器（VAE）的随机潜在空间与U-Net的跳跃连接相结合，以提升概率性天气预报的性能。该模型通过在所有区域共享单一模型并联合训练全部数据，在Weather4cast 2021竞赛的核心挑战和迁移学习挑战中均获得第三名，显著优于区域特定模型。

ABSTRACT

Not only can discovering patterns and insights from atmospheric data enable more accurate weather predictions, but it may also provide valuable information to help tackle climate change. Weather4cast is an open competition that aims to evaluate machine learning algorithms' capability to predict future atmospheric states. Here, we describe our third-place solution to Weather4cast. We present a novel Variational U-Net that combines a Variational Autoencoder's ability to consider the probabilistic nature of data with a U-Net's ability to recover fine-grained details. This solution is an evolution from our fourth-place solution to Traffic4cast 2020 with many commonalities, suggesting its applicability to vastly different domains, such as weather and traffic.

研究动机与目标

• 开发一种深度学习模型，能够从地球静止轨道卫星数据中实现概率性、多步天气预报。
• 通过概率深度学习架构，应对大气动力学中固有的不确定性和随机性。
• 通过在所有区域的数据上联合训练单一模型，提升在多样化地理区域间的泛化能力。
• 评估基于U-Net的架构从交通预报（Traffic4cast）向天气预报（Weather4cast）的可迁移性。
• 探究正则化组件如Dropout、最大池化以及VAE风格瓶颈层对模型性能的影响。

提出的方法

• 模型采用带有Dense Blocks、2D卷积、ELU激活函数、组归一化以及编码器和解码器中均使用的2D Dropout的U-Net编码器-解码器架构。
• 瓶颈层取代标准U-Net的瓶颈结构，采用变分自编码器（VAE）组件，学习表示高斯分布均值和对数方差的潜在向量。
• 应用重参数化技巧，从学习到的潜在分布中采样，实现随机前向传播并支持不确定性建模。
• 在编码器和解码器层之间使用跳跃连接，以保留空间细节并提升特征恢复能力。
• 通过联合优化重构损失和KL散度，端到端训练模型，以实现VAE目标。
• 在全部六个Weather4cast区域的数据上联合训练单一模型，并在验证数据上进行额外微调，以提交最终排行榜结果。

实验结果

研究问题

• RQ1 变分U-Net架构能否有效建模天气预报中大气状态转移的概率特性？
• RQ2 与确定性U-Net相比，集成VAE风格瓶颈层在不确定性估计和天气预测泛化能力方面有何提升？
• RQ3 在多个地理上差异显著的区域数据上联合训练单一统一模型，是否优于区域特定模型？
• RQ4 来自交通预报（如带Dropout和归一化的U-Net）的架构组件在天气预报任务中可迁移程度如何？
• RQ5 在验证数据上进行微调是否能进一步提升概率天气预报在未见测试数据上的性能？

主要发现

• 该变分U-Net在Weather4cast 2021的两个挑战（核心挑战与迁移学习挑战）中均获得第三名，迁移学习挑战的最终排行榜得分为0.4670。
• 在全部六个区域的数据上联合训练单一模型，使测试排行榜性能相比区域特定模型提升了约2.3%。
• 在验证数据上对最终模型进行微调，使迁移学习挑战的最终排行榜得分从0.5102提升至0.4670。
• 引入Dropout层并由平均池化改为最大池化，提升了泛化能力并减少了过拟合。
• 温度的线性插值提升了验证得分，但未在最终排行榜上体现为性能提升。
• 该模型架构源自Traffic4cast解决方案，尽管数据动态存在差异，但展现出强大的跨领域迁移能力。