[论文解读] Fourier Neural Operators for Arbitrary Resolution Climate Data Downscaling

Qidong Yang, Álex Hernández-García+6 more|arXiv (Cornell University)|May 23, 2023

Cryospheric studies and observations被引用 6

一句话总结

该论文提出了一种基于傅里叶神经算子（FNO）的降尺度方法，该方法在低分辨率气候数据上进行训练，并能零样本泛化至任意高分辨率，显著优于现有最先进的卷积神经网络和生成对抗网络（GAN）模型，在ERA5再分析数据和纳维-斯托克斯方程解数据上的标准与零样本降尺度任务中表现更优。

ABSTRACT

Climate simulations are essential in guiding our understanding of climate change and responding to its effects. However, it is computationally expensive to resolve complex climate processes at high spatial resolution. As one way to speed up climate simulations, neural networks have been used to downscale climate variables from fast-running low-resolution simulations, but high-resolution training data are often unobtainable or scarce, greatly limiting accuracy. In this work, we propose a downscaling method based on the Fourier neural operator. It trains with data of a small upsampling factor and then can zero-shot downscale its input to arbitrary unseen high resolution. Evaluated both on ERA5 climate model data and on the Navier-Stokes equation solution data, our downscaling model significantly outperforms state-of-the-art convolutional and generative adversarial downscaling models, both in standard single-resolution downscaling and in zero-shot generalization to higher upsampling factors. Furthermore, we show that our method also outperforms state-of-the-art data-driven partial differential equation solvers on Navier-Stokes equations. Overall, our work bridges the gap between simulation of a physical process and interpolation of low-resolution output, showing that it is possible to combine both approaches and significantly improve upon each other.

研究动机与目标

• 通过利用深度学习实现快速、可微分的降尺度，解决高分辨率气候模拟中计算成本过高的挑战。
• 克服固定输入尺寸深度学习模型无法泛化至未见分辨率因子的局限性。
• 开发单一FNO模型，使其在低分辨率数据上训练后，能够对任意先前未见过的高分辨率实现零样本降尺度。
• 通过在输出端引入守恒定律约束，提升气候降尺度的物理一致性和精度。
• 在合成偏微分方程解（纳维-斯托克斯方程）和真实世界观测气候数据（ERA5水汽含量）上验证该方法的有效性。

提出的方法

• 利用傅里叶神经算子（FNOs）在傅里叶频谱域中学习低分辨率与高分辨率气候场之间的映射关系。
• 仅在低上采样因子数据（如2×）上训练FNO模型，以实现在不重新训练的情况下，对更高分辨率（如4×、8×）实现零样本推理。
• 在输出端应用softmax约束层，以强制满足物理守恒定律，提升降尺度输出的保真度。
• 利用FNO的频谱归纳偏置，其能有效捕捉气候与流体动力学数据在傅里叶域中的平滑性与低秩结构。
• 采用截断傅里叶级数表示，以高效建模算子，实现跨分辨率尺度的泛化能力。
• 通过平均池化或模型递归进行后处理，以评估在特定上采样因子上训练的模型在不同分辨率目标上的表现。

Figure 1: The upper panel shows the overall structure of our Fourier neural operator downscaling model denoted by $G_{\theta}$ . The low-resolution input $\mathbf{a}$ goes through a neural network $f_{\theta}$ and a discretization inversion operator $T^{-1}$ . Then an embedding function $\mathbf{e}(

实验结果

研究问题

• RQ1 在低分辨率数据上训练的FNO模型能否实现对任意高分辨率气候降尺度任务的零样本泛化？
• RQ2 与最先进的卷积神经网络和GAN基线模型相比，FNO降尺度模型在不同分辨率因子下的精度与泛化能力如何？
• RQ3 当施加守恒定律约束时，FNO模型在气候降尺度中能多大程度上保持物理一致性？
• RQ4 与原始FNO等数据驱动的PDE求解器相比，FNO方法在纳维-斯托克斯方程积分与解优化方面是否表现更优？
• RQ5 该模型在噪声较多、观测性的气候数据（如ERA5总柱水汽含量）上的泛化能力如何？

主要发现

• 所提出的FNO降尺度模型在纳维-斯托克斯方程解的降尺度与ERA5水汽含量降尺度任务中均达到最先进性能，其MSE更低、PSNR更高，优于先前模型。
• 在纳维-斯托克斯数据集上，采用softmax约束时，FNO模型在2×分辨率下PSNR达到48.95，在4×分辨率下达到47.17，优于原始FNO求解器。
• 在ERA5水汽含量数据集上，采用softmax层的FNO模型在2×分辨率下PSNR为48.95，在4×分辨率下为47.17，显著优于CNN与GAN基线模型。
• 模型展现出强大的零样本泛化能力：当在2×数据上训练时，其在4×分辨率下的MSE更低、PSNR更高，优于专门在4×数据上训练的模型。
• 引入softmax约束层后，物理一致性得到改善，所有分辨率因子下的MAE与MSE均降低，SSIM分数显著提升。
• 在1×分辨率下（当在2×数据上训练时），FNO模型在使用softmax层的情况下PSNR达到164.18，表明在最低分辨率下实现了近乎完美的重建，并在所有尺度上保持了高性能。

Figure 2: Metrics for downscaling models applied to the PDE dataset. Downscaling models CNN-2 (CNN-4) and GAN-2 (GAN-4) are trained with 2 times (4 times) downscaling data; the DFNO model is only trained with 2 times downscaling data. Each downscaling model is evaluated on both 2 times and 4 times d