[论文解读] Data-driven prediction of a multi-scale Lorenz 96 chaotic system using a hierarchy of deep learning methods: Reservoir computing, ANN, and RNN-LSTM

Ashesh Chattopadhyay, Pedram Hassanzadeh+2 more|arXiv (Cornell University)|Jun 20, 2019

Neural Networks and Reservoir Computing被引用 25

一句话总结

本研究评估了储层计算（RC-ESN）、人工神经网络（ANN）和RNN-LSTM在仅使用慢变量（X）的情况下对多尺度Lorenz 96系统进行预测的表现。RC-ESN在短期轨迹预测中表现优于其他两种模型——能够准确预测数百个时间步的混沌动力学，同时在长期统计特性（包括概率密度函数的尾部行为）的保持方面也表现最佳。

ABSTRACT

In this paper, the performance of three deep learning methods for predicting short-term evolution and for reproducing the long-term statistics of a multi-scale spatio-temporal Lorenz 96 system is examined. The methods are: echo state network (a type of reservoir computing, RC-ESN), deep feed-forward artificial neural network (ANN), and recurrent neural network with long short-term memory (RNN-LSTM). This Lorenz 96 system has three tiers of nonlinearly interacting variables representing slow/large-scale ($X$), intermediate ($Y$), and fast/small-scale ($Z$) processes. For training or testing, only $X$ is available; $Y$ and $Z$ are never known or used. We show that RC-ESN substantially outperforms ANN and RNN-LSTM for short-term prediction, e.g., accurately forecasting the chaotic trajectories for hundreds of numerical solver's time steps, equivalent to several Lyapunov timescales. The RNN-LSTM and ANN show some prediction skills as well; RNN-LSTM bests ANN. Furthermore, even after losing the trajectory, data predicted by RC-ESN and RNN-LSTM have probability density functions (PDFs) that closely match the true PDF, even at the tails. The PDF of the data predicted using ANN, however, deviates from the true PDF. Implications, caveats, and applications to data-driven and data-assisted surrogate modeling of complex nonlinear dynamical systems such as weather/climate are discussed.

研究动机与目标

• 评估数据驱动的深度学习方法在预测具有隐藏快尺度和中尺度的复杂多尺度混沌系统中的表现。
• 评估仅基于慢变量（X）训练的模型在多大程度上能够重构完整系统动力学与统计特性。
• 比较储层计算、前馈ANN和RNN-LSTM在混沌时空系统中的预测准确性和统计保真度。
• 研究所学模型在保持长期概率密度函数（PDF）方面，包括极端尾部在内的鲁棒性。
• 为天气和气候等非线性系统提供数据驱动和数据辅助建模的见解。

提出的方法

• 采用具有三个层级的多尺度Lorenz 96系统：慢变量（X）、中等变量（Y）和快变量（Z），所有变量均非线性耦合。
• 使用仅观测到的X变量训练三种深度学习模型：储层计算（RC-ESN）、前馈人工神经网络（ANN）和RNN-LSTM。
• 采用具有固定随机储层的回声状态网络（RC-ESN），仅训练读出层以保持时间动态特性。
• 使用反向传播端到端训练ANN和RNN-LSTM，从过去X序列预测未来的X状态。
• 使用数值求解器的时间步长和李雅普诺夫 timescales 评估短期预测准确性。
• 将预测数据分布（PDF）与真实系统PDF进行比较，包括尾部行为。

实验结果

研究问题

• RQ1 当仅观测到慢变量时，储层计算（RC-ESN）是否能在多尺度混沌系统的短期预测中优于标准深度学习模型？
• RQ2 ANN和RNN-LSTM在多大程度上再现了真实系统的长期统计特性，特别是PDF尾部？
• RQ3 在混沌系统中发生轨迹丢失后，RC-ESN的预测性能是否比ANN和RNN-LSTM下降得更慢？
• RQ4 仅基于X变量训练的数据驱动模型在缺失Y和Z变量的情况下，能在多大程度上保持完整系统的统计结构？
• RQ5 这些发现对复杂系统（如气候和天气）的代理建模有何启示？

主要发现

• RC-ESN实现了最高的短期预测准确性，能够预测数百个数值求解器时间步的混沌轨迹——相当于多个李雅普诺夫 timescales。
• RNN-LSTM表现出中等预测能力，优于ANN但不及RC-ESN在轨迹准确性方面。
• ANN表现出有限的预测能力，其预测轨迹的发散速度比RNN-LSTM和RC-ESN更快。
• 即使在轨迹丢失后，RC-ESN和RNN-LSTM生成的预测数据的概率密度函数（PDF）仍与真实系统PDF高度吻合，包括尾部区域。
• ANN预测数据的PDF与真实PDF显著偏离，特别是在极端尾部区域，表明其统计保真度较差。
• 这些结果表明，RC-ESN最适合用于对长期统计一致性至关重要的复杂多尺度混沌系统进行数据驱动建模。