[论文解读] Foundations of Sequence-to-Sequence Modeling for Time Series

Vitaly Kuznetsov, Zelda Mariet|arXiv (Cornell University)|May 9, 2018

Time Series Analysis and Forecasting参考文献 41被引用 24

一句话总结

本文首次为时间序列预测中的序列到序列（seq2seq）模型提供了理论泛化边界，分析了其在非平稳性和跨序列相关性方面的样本复杂度。结果表明，当时间序列数量 $ m $ 远大于序列长度 $ T $ 且相关性较弱时，seq2seq 模型优于局部模型；而当 $ m \ll T $ 或相关性较强时，局部模型表现更优。

ABSTRACT

The availability of large amounts of time series data, paired with the performance of deep-learning algorithms on a broad class of problems, has recently led to significant interest in the use of sequence-to-sequence models for time series forecasting. We provide the first theoretical analysis of this time series forecasting framework. We include a comparison of sequence-to-sequence modeling to classical time series models, and as such our theory can serve as a quantitative guide for practitioners choosing between different modeling methodologies.

研究动机与目标

• 为时间序列预测中的序列到序列建模提供首个理论泛化保证。
• 在不同统计特性下，比较 seq2seq 模型与经典局部模型（如 ARIMA、VARMA）的样本复杂度。
• 基于非平稳性和跨序列相关性，识别 seq2seq 建模优于局部建模的条件。
• 提出并分析一种数据依赖的差异度量，用于量化时间序列中的非平稳性。
• 研究结合局部学习与 seq2seq 学习的混合模型，并推导此类框架的泛化边界。

提出的方法

• 提出一个正式的序列到序列建模框架，将 $ m $ 个时间序列中的每一个视为一个输入-输出对：过去序列 $ Y_1^{T-1}(i) $ 映射到下一个值 $ Y_T(i) $。
• 引入一种新的差异度量 $ \Delta_t $，用于量化每个时间点的非平稳性，定义为训练分布与测试分布之间期望损失的差异。
• 定义该差异度量的数据依赖版本，以实现在真实数据集中对非平稳性的经验评估。
• 利用期望混合系数和差异度量，推导 seq2seq 模型的泛化边界，表明在弱相关性下样本复杂度呈 $ \mathcal{O}(\sqrt{T/m}) $。
• 将相同的理论工具应用于局部模型，推导出样本复杂度为 $ \mathcal{O}(\sqrt{\log m / T}) $ 的边界，从而实现直接比较。
• 提出结合局部学习与 seq2seq 学习的混合模型，其泛化边界依赖于 $ m $ 和 $ T $，并引入一种新的时间点特定差异度量 $ \Delta_t $。

实验结果

研究问题

• RQ1 序列到序列模型在时间序列预测中的泛化能力如何？其表现如何依赖于非平稳性和跨序列相关性？
• RQ2 在样本复杂度和统计特性方面，序列到序列建模何时优于局部建模，反之亦然？
• RQ3 该差异度量能否从数据中计算得出？它是否可作为 seq2seq 建模能否成功的一个实用指标？
• RQ4 结合局部学习与 seq2seq 学习的混合模型表现如何？其泛化保证是什么？
• RQ5 理论边界如何扩展到训练期间未见过的分布外时间序列？

主要发现

• seq2seq 模型的泛化误差呈 $ \mathcal{O}(\sqrt{T/m}) $ 的尺度，表明在 $ m \gg T $ 条件下性能更优，前提是跨序列相关性较弱。
• 局部模型的样本复杂度为 $ \mathcal{O}(\sqrt{\log m / T}) $，因此在 $ m \ll T $ 或时间序列强相关时更优。
• 差异度量 $ \Delta_t $ 可从数据中计算得出，并可作为非平稳性的实用指标，其值越低，seq2seq 模型性能越好。
• 当 $ m \gg T $ 或 $ T \gg m $ 时，混合模型可获得有利的泛化边界，但其性能取决于时间特定差异度量 $ \Delta_t $ 的更复杂权衡。
• 该理论框架可扩展至分布外预测，即测试时出现新的时间序列，表明在温和假设下 seq2seq 模型仍具泛化能力。
• 分析表明，即使单个时间序列较短，seq2seq 模型在高维时间序列设置（$ m $ 较大）下仍可优于局部模型，前提是序列间相关性较弱。