[论文解读] Model-free prediction of noisy chaotic time series by deep learning

Kyongmin Yeo|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Applications被引用 13

一句话总结

该论文提出一种基于长短期记忆（LSTM）网络的深度学习模型，采用Softmax输出层，用于在未知底层动力学的前提下预测噪声混沌时间序列的条件概率分布。该模型能有效滤除噪声并捕捉复杂的非线性动力学，表明预测不确定性随时间动态演化而非单调递增，且在长达500步的长期预测中，真实状态始终位于95%置信区间内。

ABSTRACT

We present a deep neural network for a model-free prediction of a chaotic dynamical system from noisy observations. The proposed deep learning model aims to predict the conditional probability distribution of a state variable. The Long Short-Term Memory network (LSTM) is employed to model the nonlinear dynamics and a softmax layer is used to approximate a probability distribution. The LSTM model is trained by minimizing a regularized cross-entropy function. The LSTM model is validated against delay-time chaotic dynamical systems, Mackey-Glass and Ikeda equations. It is shown that the present LSTM makes a good prediction of the nonlinear dynamics by effectively filtering out the noise. It is found that the prediction uncertainty of a multiple-step forecast of the LSTM model is not a monotonic function of time; the predicted standard deviation may increase or decrease dynamically in time.

研究动机与目标

• 开发一种无需模型的深度学习方法，用于在仅有噪声且不完整观测数据的情况下预测混沌动力系统。
• 解决在未知系统方程或结构的前提下预测非线性、噪声和混沌时间序列的挑战。
• 对给定噪声历史观测值的未来状态条件概率分布进行建模，实现在预测中的不确定性量化。
• 在Mackey-Glass和Ikeda方程等基准混沌系统上验证该方法在真实噪声条件下的性能。
• 证明深度学习能够有效重构底层动力学，并以非单调、动态自适应的方式传播不确定性。

提出的方法

• 该模型使用长短期记忆（LSTM）网络来捕捉噪声时间序列数据中的长期时间依赖性和非线性动力学。
• 采用Softmax输出层来近似未来状态区间的离散概率分布，从而实现概率预测。
• 通过最小化正则化的交叉熵损失函数来训练LSTM，该损失函数对应于最小化预测概率分布的负对数似然。
• 通过预设的边界集合将状态空间离散化为区间，输出概率对应于未来观测值落入各区间的可能性。
• 模型基于完整的噪声观测历史 $ \bm{Y}_{0:t} $ 进行预测，估计 $ p(\tilde{y}_{t+n} | \bm{Y}_{0:t}) $ 以实现多步预测。
• 网络架构包含多个具有非线性激活函数（tanh、sigmoid、softplus）的全连接层，使网络能够从输入序列学习复杂且非线性的映射关系。

实验结果

研究问题

• RQ1 当仅有噪声观测且底层动力学未知时，深度学习模型能否准确预测混沌时间序列的条件概率分布？
• RQ2 在混沌系统的深度学习模型中，预测不确定性如何随时间演变？其增长是否呈现单调性，还是存在动态波动？
• RQ3 LSTM模型在多大程度上能从噪声数据中重构Mackey-Glass和Ikeda方程等混沌系统的实际动力学？
• RQ4 尽管存在噪声和确定性混沌，该模型是否能在长期预测（如500步）中保持高预测精度和不确定性校准？
• RQ5 与传统时间序列模型相比，该模型在噪声过滤和延迟动力学捕捉方面，其不确定性传播能力如何？

主要发现

• LSTM模型仅基于纯噪声观测，成功预测了Mackey-Glass和Ikeda混沌系统的实际无噪声动力学，且在长达500步的预测中，真实值始终位于95%置信区间内。
• 以标准差衡量的预测不确定性并未随时间单调增加；相反，其变化取决于混沌系统局部动力学，呈现动态增减。
• 对于Mackey-Glass系统，预测标准差在前90个时间步保持在噪声水平，随后逐渐增长，且95%置信区间始终覆盖真实轨迹。
• 对于Ikeda系统，不确定性在约120个时间步（t = 6）后迅速增长，最终趋于饱和，95%置信区间覆盖了几乎全部观测值范围，表明长期可预测性有限。
• 该模型在Ikeda系统上的预测误差约为噪声标准差的30%（$ \text{RMSE} = 0.302 \times sd[\boldsymbol{\nu}] $），表明其对噪声具有极强的鲁棒性。
• 模型能够记忆并利用延迟状态（Mackey-Glass为17δt，Ikeda为20δt），证实其具备学习和利用混沌系统中多尺度时间依赖关系的能力。