[论文解读] Compressing multidimensional weather and climate data into neural networks

Langwen Huang, Torsten Hoefler|arXiv (Cornell University)|Oct 22, 2022

Meteorological Phenomena and Simulations被引用 6

一句话总结

本文提出一种基于神经网络的压缩方法，通过训练基于坐标的模型，将多维气象与气候数据表示为连续函数，实现300×至3,000×以上的压缩率，且在加权RMSE和MAE方面优于当前最先进的SZ3压缩器。该方法保留了大尺度大气结构，并支持快速、并行化的数据访问，同时具备自由插值能力。

ABSTRACT

Weather and climate simulations produce petabytes of high-resolution data that are later analyzed by researchers in order to understand climate change or severe weather. We propose a new method of compressing this multidimensional weather and climate data: a coordinate-based neural network is trained to overfit the data, and the resulting parameters are taken as a compact representation of the original grid-based data. While compression ratios range from 300x to more than 3,000x, our method outperforms the state-of-the-art compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve important large scale atmosphere structures and does not introduce artifacts. When using the resulting neural network as a 790x compressed dataloader to train the WeatherBench forecasting model, its RMSE increases by less than 2%. The three orders of magnitude compression democratizes access to high-resolution climate data and enables numerous new research directions.

研究动机与目标

• 为应对存储和访问海量气象与气候模拟数据（PB级）带来的日益严峻挑战。
• 克服基于块的压缩方法对数据访问的限制并降低带宽消耗。
• 开发一种对地理物理变量的函数化、可微分的表示方法，将其表示为空间与时间的连续函数。
• 实现高效率压缩与低延迟数据检索，以支持机器学习与科学分析。
• 在高压缩率下最小化伪影与误差的同时，保留大尺度大气特征。

提出的方法

• 训练一个基于坐标的神经网络，将三维笛卡尔坐标（由球坐标转换而来）映射为地理物理变量的标量值。
• 通过傅里叶特征映射对输入坐标进行嵌入，以支持对高频空间与时间信号的建模。
• 网络采用深层全连接结构，结合残差（跳跃）连接、批量归一化和GELU激活函数，以提升训练效果与泛化能力。
• 训练完成后，将网络权重从float32量化为float16，以进一步提升压缩率，同时保持极低的精度损失。
• 通过将经度/纬度转换为单位球面上的三维笛卡尔坐标，强制施加周期性边界条件。
• 训练完成的网络作为紧凑、可微的数据加载器，支持任意坐标查询与插值。

实验结果

研究问题

• RQ1 能否训练一个神经网络，作为多维气象与气候数据的高保真、紧凑代理模型？
• RQ2 与当前最先进的基于块的压缩器（如SZ3）相比，该神经网络方法在RMSE、MAE及结构保持方面的压缩质量如何？
• RQ3 该压缩后的神经网络表示在多大程度上能保留大尺度大气特征（如锋面与急流）？
• RQ4 该神经网络表示能否有效用作下游机器学习模型（如WeatherBench）的数据加载器，且性能退化可忽略？
• RQ5 该方法在处理罕见极端事件（如飓风）时表现如何？其在捕捉锐利梯度或高影响特征方面存在哪些局限？

主要发现

• 该方法在多个测试数据集上实现了300×至3,000×以上的压缩率，且在加权RMSE与MAE方面显著优于SZ3。
• 在1,150×的压缩率下，该方法能以极小的失真保留飓风Matthew事件中的大尺度大气结构。
• 与SZ3相比，该方法引入的伪影更少，且尽管最大误差更高，其0.99999分位数的绝对误差仍与SZ3相当。
• 当用作数据加载器时，该方法使WeatherBench模型的测试RMSE增加不足2%，表明其与机器学习训练流水线具有极强的兼容性。
• 由于归纳偏置的影响，该模型在捕捉小尺度特征（如飓风眼壁）的极端值时表现不佳，常导致其被平滑化。
• 该方法支持快速、并行化的数据访问，计算成本与查询规模成正比，并可在非网格点实现自由插值，这是传统压缩器不具备的关键优势。