[论文解读] Long-term Forecasting with TiDE: Time-series Dense Encoder

Abhimanyu Das, Weihao Kong+4 more|arXiv (Cornell University)|Apr 17, 2023

Neural Networks and Applications被引用 157

一句话总结

TiDE 提供基于 MLP 的编码器-解码器用于长 horizon 预测，能够处理协变量，达到与 Transformer 相当的准确性且显著更快。它包含线性残差连接和时间解码器以整合未来协变量。

ABSTRACT

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a Multi-layer Perceptron (MLP) based encoder-decoder model, Time-series Dense Encoder (TiDE), for long-term time-series forecasting that enjoys the simplicity and speed of linear models while also being able to handle covariates and non-linear dependencies. Theoretically, we prove that the simplest linear analogue of our model can achieve near optimal error rate for linear dynamical systems (LDS) under some assumptions. Empirically, we show that our method can match or outperform prior approaches on popular long-term time-series forecasting benchmarks while being 5-10x faster than the best Transformer based model.

研究动机与目标

• 演示在带协变量的多变量时间序列中对准确的长期预测的需求。
• 提出一个简单而有效的基于 MLP 的编码器-解码器架构（TiDE），避免自注意力和递归。
• 理论分析线性类似物，显示对于线性动力系统的误差接近最优。
• 实证将 TiDE 与最先进的基于 Transformer 的模型和线性模型在标准基准上比较。
• 演示在保持竞争力的准确性的同时提高训练和推理效率。

提出的方法

• TiDE 在特征投影步骤后，使用密集的 MLP 编码器对过去观测和协变量进行编码，降低动态协变量维度。
• 一个密集的 MLP 解码器生成 horizon-specific 表征，随后一个时间解码器将这些表征与未来协变量融合以产生预测。
• 从回看到 horizon 的全局线性残差连接被加入，以确保线性模型是 TiDE 的子类。
• TemporalDecoder 超参数控制用于处理 horizon 步的隐藏大小。
• 训练使用小批量梯度下降，使用 MSE 损失，并在标准化的回看/ horizon 设置上进行滚动评估。

Figure 1 : Overview of TiDE architecture. The dynamic covariates per time-point are mapped to a lower dimensional space using a feature projection step. Then the encoder combines the look-back along with the projected covariates with the static attributes to form an encoding. The decoder maps this e

实验结果

研究问题

• RQ1 一个 MLP-based Dense Encoder（TiDE）是否可以在长 horizon 的多变量预测基准上达到或超过基于 Transformer 的方法？
• RQ2 当协变量（动态和静态）可用时，TiDE 的表现如何，且能否在不使用自注意力的情况下有效利用它们？
• RQ3 TiDE 的线性类比在合理的谱条件下是否能实现线性动力系统的接近最优误差？
• RQ4 在标准数据集上，TiDE 与基于 Transformer 的模型之间在准确性、训练时间和推理时间方面的实际权衡如何？

主要发现

• TiDE 在流行的长期预测基准上实现与最先进的基于 Transformer 的模型相当或更优的 MSE。
• TiDE 在推理方面快5倍，在训练方面比最佳 Transformer 基模型快超过10倍，针对Traffic等大型数据集。
• 通过时间解码器引入未来协变量，带来明显收益，尤其是当协变量在特定 horizon 步有直接影响时。
• TiDE 的线性类比在线性动力系统中可以接近最优，为在长期设置中使用简单线性/偏置启用架构的有效性提供理论支持。
• TiDE 能同时处理动态协变量和静态属性，在使用协变量时，在 M5 需求预测基准上超越基线。

(a) Inference time per batch in microseconds