[论文解读] RainNet: A Large-Scale Imagery Dataset and Benchmark for Spatial Precipitation Downscaling

Xuanhong Chen, Kairui Feng+5 more|arXiv (Cornell University)|Dec 17, 2020

Precipitation Measurement and Analysis被引用 5

一句话总结

本论文提出了 RainNet，这是首个大规模真实世界空间降水降尺度数据集，包含美国东部地区17年间的超过62,400对高分辨率与低分辨率降水图。该数据集支持深度学习模型在降尺度任务中的训练与评估，通过新颖的基准框架与定制化指标，解决了时间错位、稀疏性及流体动力学等挑战。实验表明，现有SISR与VSR模型在这一复杂真实世界任务中仍表现不足。

ABSTRACT

AI-for-science approaches have been applied to solve scientific problems (e.g., nuclear fusion, ecology, genomics, meteorology) and have achieved highly promising results. Spatial precipitation downscaling is one of the most important meteorological problem and urgently requires the participation of AI. However, the lack of a well-organized and annotated large-scale dataset hinders the training and verification of more effective and advancing deep-learning models for precipitation downscaling. To alleviate these obstacles, we present the first large-scale spatial precipitation downscaling dataset named RainNet, which contains more than $62,400$ pairs of high-quality low/high-resolution precipitation maps for over $17$ years, ready to help the evolution of deep learning models in precipitation downscaling. Specifically, the precipitation maps carefully collected in RainNet cover various meteorological phenomena (e.g., hurricane, squall), which is of great help to improve the model generalization ability. In addition, the map pairs in RainNet are organized in the form of image sequences ($720$ maps per month or 1 map/hour), showing complex physical properties, e.g., temporal misalignment, temporal sparse, and fluid properties. Furthermore, two deep-learning-oriented metrics are specifically introduced to evaluate or verify the comprehensive performance of the trained model (e.g., prediction maps reconstruction accuracy). To illustrate the applications of RainNet, 14 state-of-the-art models, including deep models and traditional approaches, are evaluated. To fully explore potential downscaling solutions, we propose an implicit physical estimation benchmark framework to learn the above characteristics. Extensive experiments demonstrate the value of RainNet in training and evaluating downscaling models. Our dataset is available at https://neuralchen.github.io/RainNet/.

研究动机与目标

• 为深度学习社区解决空间降水降尺度任务中缺乏大规模、真实世界且标注良好的数据集的问题。
• 克服模拟数据集（如双三次插值退化）的局限性，这些数据集无法反映卫星与雷达系统之间的实际传感器差异。
• 建立一个包含领域特定指标的基准框架，以评估深度学习模型在时间错位、稀疏性及流体动力学等复杂物理特性上的表现。
• 实现对最先进SISR与VSR模型在真实降水数据上系统性评估，揭示其在捕捉中尺度特征方面的不足。

提出的方法

• 从17年间的卫星与雷达数据中收集超过62,400对高分辨率（HR）与低分辨率（LR）降水图，覆盖美国东部地区900万平方公里。
• 将图对组织为时间序列（每小时1幅，每月720幅），以反映真实世界的时间动态，包括时间错位与稀疏性。
• 引入两种面向深度学习的评估指标：中尺度峰值降水误差（MPPE）与强降水区域重建准确率（HRRR），专为降水降尺度任务设计。
• 设计一种隐式物理估计基准框架，用于模拟降水场中的类流体运动与时间不一致性。
• 在RainNet数据集上评估14种最先进模型（包括SRCNN、RCAN、DBPN与基于GAN的方法），从视觉与定量两个维度评估其性能。
• 通过视觉与定量分析表明，现有SISR与VSR模型无法有效重建如飓风眼与强降水带等细尺度特征。

实验结果

研究问题

• RQ1 在真实世界降水数据上训练的深度学习模型是否能优于在理想化退化模拟数据上训练的模型？
• RQ2 现有SISR与VSR模型在具有复杂物理特性（如时间错位与流体动力学）的真实降水数据上的表现如何？
• RQ3 标准深度学习指标在多大程度上无法捕捉降水降尺度结果的物理保真度？
• RQ4 一种能够建模隐式物理动态的基准框架是否能提升降尺度模型的泛化能力与准确性？
• RQ5 当前深度学习架构在重建中尺度降水特征（如强降水带与飓风眼）方面存在哪些关键局限？

主要发现

• RainNet数据集包含17年中超过62,400对高分辨率与低分辨率降水图，覆盖包括飓风与飑线在内的多样化气象现象。
• 视觉分析显示，SISR模型如SRCNN与RCAN产生过度平滑的结果，而DBPN无法重建飓风眼。
• 传统方法如克里金插值法的结果与输入的低分辨率图一样模糊，表明其在细尺度特征上的表现极差。
• 定量评估显示，MPPE与HRRR指标能有效捕捉模型在中尺度区域与强降水区域的表现。
• 现有SISR或VSR模型均未能完全解决时间错位、稀疏性与流体动力学的挑战，表明该任务仍极具挑战性。
• 隐式物理估计框架证明了建模动态物理过程对提升降尺度性能的重要性。