[论文解读] Forecasting time series with encoder-decoder neural networks

Nathawut Phandoidaen, Stefan Richter|arXiv (Cornell University)|Sep 18, 2020

Neural Networks and Applications参考文献 19被引用 7

一句话总结

本文提出一种用于高维时间序列预测的编码器-解码器神经网络，通过压缩的潜在表示建模过去观测的演化过程。在结构化和稀疏性假设下，利用函数依赖度量或绝对平稳混合系数，建立了新型的oracle型不等式及期望预测误差的上界，显著提高了高维下标准非参数方法的收敛速度。

ABSTRACT

In this paper, we consider high-dimensional stationary processes where a new observation is generated from a compressed version of past observations. The specific evolution is modeled by an encoder-decoder structure. We estimate the evolution with an encoder-decoder neural network and give upper bounds for the expected forecast error under specific structural and sparsity assumptions. The results are shown separately for conditions either on the absolutely regular mixing coefficients or the functional dependence measure of the observed process. In a quantitative simulation we discuss the behavior of the network estimator under different model assumptions. We corroborate our theory by a real data example where we consider forecasting temperature data.

研究动机与目标

• 通过引入结构化的编码器-解码器神经网络，解决非参数时间序列预测中的维度灾难问题。
• 在弱依赖条件下，推导期望预测误差的理论上限界，避免强参数假设。
• 利用函数依赖度量或混合系数，将现有i.i.d.设定下的结果推广至依赖的高维时间序列。
• 为时间序列预测中的神经网络设计提供理论依据，尤其关注网络架构与样本量需求。

提出的方法

• 将时间序列演化建模为 $ X_{r+1} = f_0(X_{r},...,X_{1}) + \varepsilon_{r+1} $，其中 $ f_0 $ 通过具有编码器-解码器结构的神经网络进行估计。
• 施加结构化假设：$ f_0 $ 将 $ r $-阶历史压缩至低维潜在空间，再从该空间解码以预测下一个观测值。
• 使用神经网络估计器 $ \hat{f}^{\text{net}} $ 近似 $ f_0 $，误差通过 $ \mathbb{E}D(\hat{f}) $ 衡量，即加权均方预测误差。
• 采用两种依赖度量：函数依赖度量（FDM）和绝对平稳混合系数，以量化时间序列的依赖性。
• 推导预测误差的oracle型不等式，在这些依赖框架下统一逼近误差与估计误差项。
• 应用非参数逼近理论与集中不等式，界定过剩风险，利用编码器-解码器结构避免维度灾难。

实验结果

研究问题

• RQ1 编码器-解码器神经网络在高维时间序列预测中能否实现比标准非参数估计器更快的收敛速度？
• RQ2 在弱依赖假设下，期望预测误差的理论保证是什么？
• RQ3 函数依赖度量与绝对平稳混合系数如何影响神经网络估计器的收敛速度？
• RQ4 编码器-解码器结构在多大程度上降低了有效维度并提升了估计效率？

主要发现

• 本文首次在函数依赖度量或混合条件下，为依赖性高维时间序列的预测误差建立了oracle型不等式。
• 在编码器-解码器结构下，神经网络估计器的收敛速度相比标准非参数方法显著提升，后者受维度灾难影响严重。
• 期望预测误差的上界为 $ O(n^{-\frac{2\beta}{2\beta + d r}}) $，但编码器-解码器结构在稀疏性与结构假设下可实现更快的收敛速率。
• 理论结果表明，所需训练样本数量随编码器的潜在维度增长而有利地变化，而非随完整输入维度增长。
• 模拟研究证实，当真实函数具有低维潜在结构时，网络估计器在各种模型假设下表现良好。
• 真实数据示例在气温预测中的应用表明该方法具有实际有效性，能在长时域内实现稳定且准确的预测。