[论文解读] Learning Fast and Slow for Online Time Series Forecasting

Quang Pham, Chenghao Liu+2 more|arXiv (Cornell University)|Feb 23, 2022

Time Series Analysis and Forecasting被引用 15

一句话总结

本文提出 FSNet，一种受互补学习系统（CLS）理论启发的新型在线时间序列预测框架，结合了用于快速适应近期变化的逐层适配器和用于回忆与更新重复模式的关联记忆。FSNet 通过动态平衡快速学习与长期知识保留，在真实和合成数据集上均实现了最先进性能，显著优于现有方法，在处理非平稳性和重复性模式方面表现更优。

ABSTRACT

The fast adaptation capability of deep neural networks in non-stationary environments is critical for online time series forecasting. Successful solutions require handling changes to new and recurring patterns. However, training deep neural forecaster on the fly is notoriously challenging because of their limited ability to adapt to non-stationary environments and the catastrophic forgetting of old knowledge. In this work, inspired by the Complementary Learning Systems (CLS) theory, we propose Fast and Slow learning Networks (FSNet), a holistic framework for online time-series forecasting to simultaneously deal with abrupt changing and repeating patterns. Particularly, FSNet improves the slowly-learned backbone by dynamically balancing fast adaptation to recent changes and retrieving similar old knowledge. FSNet achieves this mechanism via an interaction between two complementary components of an adapter to monitor each layer's contribution to the lost, and an associative memory to support remembering, updating, and recalling repeating events. Extensive experiments on real and synthetic datasets validate FSNet's efficacy and robustness to both new and recurring patterns. Our code is available at \url{https://github.com/salesforce/fsnet}.

研究动机与目标

• 解决深度学习模型在在线时间序列预测中因概念漂移和灾难性遗忘而面临的挑战。
• 在保留先前见过的重复模式知识的同时，提升模型对新出现模式的适应能力，适用于流式数据。
• 将在线预测建模为无任务的持续学习问题，避免依赖显式的任务边界。
• 开发一种可扩展且鲁棒的框架，在无需事先知晓分布漂移的情况下，平衡快速适应与长期记忆。

提出的方法

• FSNet 采用逐层适配器，使每个中间层能够自适应地从近期时间序列样本中学习，支持对新出现模式的快速学习。
• 关联记忆组件用于存储、检索和更新训练过程中观察到的重复模式的嵌入表示，实现在模式再次出现时的高效回忆。
• 逐层适配器与关联记忆之间的交互使模型能够通过利用先前学习的表征，快速适应重复事件。
• 该框架被设计为可插入现有深度神经网络主干网络（如 TCN）的插件模块，无需修改网络架构。
• 通过在线统计自适应的 z-标准化对每个特征进行处理，以应对流式数据中的分布漂移。
• 该方法为无任务型（task-free），即无需任务标签或显式检测概念漂移，而是依赖时间平滑性和模式重复性。

实验结果

研究问题

• RQ1 如何在不从头再训练的情况下，使深度学习模型在在线设置中对非平稳时间序列数据更具适应性？
• RQ2 快速与慢速学习的双重机制是否能提升时间序列预测中对新出现模式和重复模式的性能？
• RQ3 关联记忆组件在在线时间序列学习中能在多大程度上缓解灾难性遗忘？
• RQ4 逐层适配器与关联记忆之间的交互如何增强模型的泛化能力和适应速度？
• RQ5 经验回放对 FSNet 性能有何影响？其对内存和计算复杂度有何影响？

主要发现

• FSNet 在真实世界和合成时间序列数据集上均优于强基线模型，展现出对概念漂移和重复模式更强的鲁棒性。
• FSNet+ER（含经验回放的变体）在所有设置下均取得更优性能，证实了回放在在线学习中的价值。
• 在 S-Abrupt 和 S-Gradual 合成数据集上，FSNet 的 MAE 和 RMSE 均更低，部分情况下性能提升高达 20%。
• 可视化结果显示，关联记忆单元在学习过程中定期激活，尤其在早期和中间层（如第 4 层和第 6 层），表明存储模式被积极使用。
• 模型有效利用了时间平滑性和模式重复性，对显式变化检测或任务边界的依赖极低。
• 消融实验确认，逐层适配器和关联记忆均对性能有显著贡献，二者结合可获得最佳结果。