[论文解读] A hybrid model based on deep LSTM for predicting high-dimensional chaotic systems

Youming Lei, Jian Hu+1 more|arXiv (Cornell University)|Jan 21, 2020

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种结合不精确经验动力学模型的混合深度LSTM模型，以改善Mackey-Glass和Kuramoto-Sivashinsky等高维混沌系统中的长期预测。通过将经验模型的结构约束与深度LSTM的时间特征学习能力相结合，该方法显著减少了轨迹发散，与独立的深度LSTM相比，可靠预测时间延长了200%以上。

ABSTRACT

We propose a hybrid method combining the deep long short-term memory (LSTM) model with the inexact empirical model of dynamical systems to predict high-dimensional chaotic systems. The deep hierarchy is encoded into the LSTM by superimposing multiple recurrent neural network layers and the hybrid model is trained with the Adam optimization algorithm. The statistical results of the Mackey-Glass system and the Kuramoto-Sivashinsky system are obtained under the criteria of root mean square error (RMSE) and anomaly correlation coefficient (ACC) using the singe-layer LSTM, the multi-layer LSTM, and the corresponding hybrid method, respectively. The numerical results show that the proposed method can effectively avoid the rapid divergence of the multi-layer LSTM model when reconstructing chaotic attractors, and demonstrate the feasibility of the combination of deep learning based on the gradient descent method and the empirical model.

研究动机与目标

• 解决由于对初值敏感性和轨迹发散导致的高维混沌系统长期预测挑战。
• 克服纯数据驱动的深度学习模型在重构混沌吸引子时随时间发散的局限性。
• 通过将不精确经验模型与深度LSTM架构结合，提升预测性能，以稳定长期预测。
• 证明基于梯度的深度学习与物理建模约束相结合在混沌动力学中的可行性和优越性。
• 提供一种可扩展的框架，用于结合混合机器学习与动力学建模，预测复杂且高维的混沌系统。

提出的方法

• 采用多层长短期记忆（LSTM）网络以捕捉高维时间序列数据中的复杂时间依赖性。
• 将源自控制偏微分方程（如KS方程）的经验模型作为正则化项，以约束LSTM的预测结果。
• 使用Adam优化算法训练混合模型，超参数经调优以确保稳定性和收敛性。
• 采用二阶有限差分格式对连续动力系统（Mackey-Glass和Kuramoto-Sivashinsky）进行离散化，以实现数值模拟和数据生成。
• 通过结合数据学习的动力学与已知系统结构，应用混合模型重构混沌吸引子。
• 使用RMSE和异常相关系数（ACC）在多个预测时域和初值条件下评估性能。

实验结果

研究问题

• RQ1 当仅基于数据训练时，深度LSTM模型能否有效预测高维混沌系统？
• RQ2 将不精确经验模型整合后，如何提升深度LSTM预测的长期稳定性和准确性？
• RQ3 与单层LSTM和非混合模型相比，混合深度LSTM模型的相对性能增益如何？
• RQ4 在混沌吸引子的长期预测中，混合模型在多大程度上减少了轨迹发散？
• RQ5 与基于回声状态网络的方法相比，该混合方法在预测精度和计算成本方面表现如何？

主要发现

• 对于Kuramoto-Sivashinsky系统，混合多层LSTM模型将有效预测时间延长至38.04 MT（模型时间单位），而独立的多层LSTM仅为12.11 MT。
• 在所有预测时域内，混合模型的均方根误差（RMSE）显著低于单层LSTM、多层LSTM和混合单层LSTM，且异常相关系数（ACC）更高。
• 预测性能排序为：单层LSTM < 多层LSTM < 混合单层LSTM < 混合多层LSTM，证实了深度混合方法的优越性。
• 经验模型有效校正了LSTM预测中的长期漂移，稳定了系统的‘气候’特征，同时保持了短期预测的准确性。
• 尽管训练成本更高，混合模型在预测精度上仍优于基于回声状态网络的混合模型。
• 将物理结构（经验模型）与深度学习相结合，显著增强了模型捕捉混沌吸引子瞬态和稳态行为的能力。