[论文解读] Learning Deep Time-index Models for Time Series Forecasting

Gerald Woo, Chenghao Liu+3 more|arXiv (Cornell University)|Jul 13, 2022

Time Series Analysis and Forecasting被引用 14

一句话总结

该论文提出 DeepTime，一种元优化框架，通过将训练分为内循环和外循环，学习深度时间索引模型以实现对训练时间步长之外的泛化。该方法通过利用隐式神经表示和一种新型拼接傅里叶特征模块，在保持高效率的同时实现了最先进的性能，克服了原始深度时间索引模型的外推失败问题。

ABSTRACT

Deep learning has been actively applied to time series forecasting, leading to a deluge of new methods, belonging to the class of historical-value models. Yet, despite the attractive properties of time-index models, such as being able to model the continuous nature of underlying time series dynamics, little attention has been given to them. Indeed, while naive deep time-index models are far more expressive than the manually predefined function representations of classical time-index models, they are inadequate for forecasting, being unable to generalize to unseen time steps due to the lack of inductive bias. In this paper, we propose DeepTime, a meta-optimization framework to learn deep time-index models which overcome these limitations, yielding an efficient and accurate forecasting model. Extensive experiments on real world datasets in the long sequence time-series forecasting setting demonstrate that our approach achieves competitive results with state-of-the-art methods, and is highly efficient. Code is available at https://github.com/salesforce/DeepTime.

研究动机与目标

• 为解决原始深度时间索引模型缺乏泛化能力的问题，这些模型在训练时间步长上过拟合，无法外推到未见的时间范围。
• 将深度神经网络的表达能力与时序预测中实现可靠外推所需的归纳偏置相结合。
• 开发一种计算高效的框架，避免元学习中标准双层优化带来的不稳定性和高成本。
• 实现端到端学习灵活、数据驱动的时间索引函数形式，无需依赖手动预定义的组件（如线性趋势或周期函数）。
• 通过学习时序动态的连续、平滑表示，提升长时序预测的性能。

提出的方法

• 该框架将学习过程划分为内循环（在最近时间步长上进行标准监督学习）和外循环（元优化以学习外推所需的归纳偏置）。
• 在外循环中使用闭式岭回归器，以高效更新模型参数，降低计算成本并提高训练稳定性。
• 使用隐式神经表示（INRs）对时间索引函数进行参数化，实现对时序动态的连续建模。
• 引入一种新型拼接傅里叶特征模块，高效捕捉时序数据中的高频模式，而无需大量超参数调优。
• 使用元优化目标进行训练，最小化多个回溯窗口上的测试损失，以增强对未见时间步长的鲁棒性。
• 将基础参数限制为仅 INR 的最后一层，提供一种有用的归纳先验，稳定训练并防止元学习中的记忆化现象。

实验结果

研究问题

• RQ1 尽管缺乏归纳偏置，是否可以使深度时间索引模型在未见时间步长上实现泛化？
• RQ2 如何高效地将元优化应用于时序预测，以学习强归纳偏置，同时避免不稳定性或高计算成本？
• RQ3 基于数据驱动的神经网络时间索引模型是否在长时序预测中优于具有预定义函数的经典时间索引模型？
• RQ4 由于任务非排他性及记忆化现象，时间特征在元学习时间索引模型中在多大程度上会降低性能？
• RQ5 仅使用隐式神经表示和傅里叶特征的简单模型架构，是否能与复杂的状态最先进模型相媲美？

主要发现

• DeepTime 在真实世界的长序列数据集上实现了具有竞争力的预测性能，尽管架构更简单，但仍优于或匹配现有最先进方法。
• 元优化框架至关重要：若移除该框架，即使使用时间特征，泛化性能仍极差，且时间特征反而因元学习记忆化而降低性能。
• 在外循环中使用闭式岭回归器可实现稳定且高效的训练，其性能优于结构更复杂的完整 MAML。
• 拼接傅里叶特征模块的性能与标准随机傅里叶特征的广泛超参数调优相当或更优，显著提升了高频模式的学习能力。
• DeepTime 在运行时和内存使用方面均表现出极高效率，在推理速度和内存消耗方面甚至优于高效的基于 Transformer 的模型。
• 该模型在长预测时序上表现出强大的泛化能力，成功外推至训练时间窗口之外，而原始深度时间索引模型在此处会失败。