[论文解读] Dimensionality-Reduction of Climate Data using Deep Autoencoders

Juan A. Sáenz, Nicholas Lubbers+1 more|arXiv (Cornell University)|Aug 27, 2018

Meteorological Phenomena and Simulations参考文献 11被引用 5

一句话总结

本文提出使用卷积自编码器（CAEs）对气候数据进行非线性降维，证明在大规模CMIP5数据集上，CAEs在重建地表温度场方面优于主成分分析（PCA）。在包含36,500个样本的IPSL-CM5A-LR数据集中，采用40维编码的CAE实现的均方误差（4.2415 K²）低于PCA（4.9014 K²），表明其重建保真度更优，尤其在结合噪声正则化以稳定训练时表现更佳。

ABSTRACT

We explore the use of deep neural networks for nonlinear dimensionality reduction in climate applications. We train convolutional autoencoders (CAEs) to encode two temperature field datasets from pre-industrial control runs in the CMIP5 first ensemble, obtained with the CCSM4 model and the IPSL-CM5A-LR model, respectively. With the later dataset, consisting of 36500 96$ imes$96 surface temperature fields, the CAE out-performs PCA in terms of mean squared error of the reconstruction from a 40 dimensional encoding. Moreover, the noise in the filters of the convolutional layers in the autoencoders suggests that the CAE can be trained to produce better results. Our results indicate that convolutional autoencoders may provide an effective platform for the construction of surrogate climate models.

研究动机与目标

• 探究深度自编码器在气候建模中非线性降维的有效性。
• 对比卷积自编码器（CAEs）与传统PCA在CMIP5预工业控制模拟中重建地表温度场的表现。
• 评估正则化技术（如权重衰减和噪声注入）对CAE训练稳定性与性能的影响。
• 探索CAEs是否可作为构建计算成本更低的高效气候代理模型的基础。
• 评估CAEs在不同气候模型数据集中保留大尺度与小尺度温度模式的能力。

提出的方法

• 本研究采用包含编码器与解码器堆叠结构的卷积自编码器（CAEs），包括卷积层、最大池化层、上采样层以及全连接层，以实现降维。
• CAE架构采用2×2最大池化与上采样操作，实现空间下采样与上采样，以保持温度场重建中的空间结构。
• 训练采用带Nesterov动量（0.975）的随机梯度下降法，学习率为0.01，批量大小为128，共训练1,000个周期。
• 应用两种正则化策略：权重衰减（β）与像素级高斯噪声注入（σ = γ），以提升训练稳定性与滤波器平滑性。
• 通过最小化均方误差（MSE）来优化重建误差，其定义为 $ \frac{1}{NM}\|\mathbf{X} - \hat{\mathbf{X}}\|_2^2 $，该指标也用于比较CAE与PCA的性能。
• 方法在两个数据集上进行评估：CCSM4-T31（1,800个样本，48×96网格）与IPSL-CM5A-LR（36,500个样本，96×96网格），均包含地表温度场数据。

实验结果

研究问题

• RQ1 卷积自编码器能否在气候数据的非线性降维中实现比PCA更高的重建精度？
• RQ2 训练数据的可用性如何影响CAE在气候数据应用中滤波器的稳定性与性能？
• RQ3 训练过程中引入噪声是否能提升学习到的卷积滤波器的平滑性并降低重建误差？
• RQ4 CAEs在多大程度上能保留气候场中的大尺度与小尺度温度模式？
• RQ5 在大规模气候数据集上训练的CAEs能否作为计算成本高昂的气候模型的有效代理？

主要发现

• 在包含36,500个样本的IPSL-CM5A-LR数据集中，CAE（B1架构）实现的均方误差（MSE）为4.2415 K²，优于PCA的4.9014 K²。
• 引入噪声正则化（B2与B3）虽提升了滤波器平滑性，但增加了重建误差，表明训练稳定性与精度之间存在权衡。
• CCSM4-T31模型的第一卷积层滤波器呈现出噪声大、重复性强的模式，表明因数据量有限（N = 1,800）导致训练收敛性较差。
• 尽管滤波器存在噪声，CAE重建结果仍保留了大尺度全球温度模式，但局部特征的准确性有所下降。
• 采用40维编码的CAE成功重建了南极半岛、北大西洋以及安第斯山脉与喜马拉雅山脉等高海拔区域等关键气候特征。
• 结果表明，当具备足够数据并辅以恰当正则化时，CAEs可为气候数据提供比PCA更有效的降维框架。