[论文解读] Explainable Tensorized Neural Ordinary Differential Equations forArbitrary-step Time Series Prediction

Penglei Gao, Xi Yang+2 more|arXiv (Cornell University)|Nov 26, 2020

Stock Market Forecasting Methods参考文献 17被引用 5

一句话总结

该论文提出了一种可解释张量化神经ODE（ETN-ODE）框架，用于在任意时间点进行多变量时间序列的连续时间深度学习预测。通过结合张量化GRU与基于ODE的潜在动态模型，以及并联注意力机制，ETN-ODE实现了高精度、可解释的多步预测，并具备明确的时间与变量层面注意力可解释性，在标准与任意步长预测任务上均优于现有方法。

ABSTRACT

We propose a continuous neural network architecture, termed Explainable Tensorized Neural Ordinary Differential Equations (ETN-ODE), for multi-step time series prediction at arbitrary time points. Unlike the existing approaches, which mainly handle univariate time series for multi-step prediction or multivariate time series for single-step prediction, ETN-ODE could model multivariate time series for arbitrary-step prediction. In addition, it enjoys a tandem attention, w.r.t. temporal attention and variable attention, being able to provide explainable insights into the data. Specifically, ETN-ODE combines an explainable Tensorized Gated Recurrent Unit (Tensorized GRU or TGRU) with Ordinary Differential Equations (ODE). The derivative of the latent states is parameterized with a neural network. This continuous-time ODE network enables a multi-step prediction at arbitrary time points. We quantitatively and qualitatively demonstrate the effectiveness and the interpretability of ETN-ODE on five different multi-step prediction tasks and one arbitrary-step prediction task. Extensive experiments show that ETN-ODE can lead to accurate predictions at arbitrary time points while attaining best performance against the baseline methods in standard multi-step time series prediction.

研究动机与目标

• 解决现有模型在处理单变量或单步多变量预测方面存在局限，但无法实现任意时间点的多变量多步预测的问题。
• 开发一种连续时间神经网络架构，以实现从低频训练数据中进行高频预测。
• 通过引入并联注意力机制，捕捉变量特异性与时间贡献，提升模型可解释性。
• 提供统一框架，同时支持标准多步与任意步长时间序列预测，提升预测精度与可解释性。

提出的方法

• ETN-ODE使用张量化门控循环单元（TGRU）编码多变量时间序列，将隐藏状态表示为矩阵，以捕捉特征特异性动态。
• 潜在状态的导数由神经网络参数化，形成连续时间ODE系统，支持任意步长预测。
• 引入并联注意力机制，结合时间注意力（用于历史贡献）与变量注意力（用于特征重要性），生成自适应上下文向量。
• 将并联注意力生成的上下文向量用作ODE求解器的初始条件，实现在任意时间间隔内的连续预测。
• 通过负对数似然损失结合正则化与噪声注入进行训练，以提升模型鲁棒性。
• 通过从学习到的初始状态求解ODE至任意期望的未来时间点，获得预测结果。

实验结果

研究问题

• RQ1 连续时间神经网络架构是否能够实现对任意未来时间点的高精度多变量时间序列预测，而不仅限于固定步长预测？
• RQ2 如何有效将可解释性整合到连续时间多变量时间序列模型中，特别是识别关键贡献变量与时间窗口？
• RQ3 所提出的并联注意力机制（结合时间注意力与变量注意力）是否在预测性能与模型可解释性方面优于标准注意力或池化方法？
• RQ4 与标准RNN或LSTM相比，张量化GRU在参数更少、收敛更快的前提下，是否在建模多变量动态方面表现更优？

主要发现

• ETN-ODE在五个真实世界数据集上，于标准多步与任意步长时间序列预测任务中均达到最先进性能。
• 消融实验表明，移除任一组件（尤其是ODE模块或并联注意力）均会显著降低性能，证明其必要性。
• 并联注意力机制提供了有意义的可解释性：变量注意力突出了关键输入特征（如SML2010数据集中的温度与CO2），时间注意力显示长期预测更依赖历史数据。
• 模型对超参数变化具有鲁棒性，性能在不同噪声水平与隐藏维度设置下保持稳定，仅在高维数据集（如Nasdaq100）中表现略有波动。
• 尽管架构设计相似，张量化GRU在参数更少、收敛更快的前提下，性能优于张量化LSTM。
• ODE组件对任意步长预测至关重要；若移除，模型将被限制在离散时间点，从而在高频预测场景中降低灵活性。