[论文解读] A Unified Replay-based Continuous Learning Framework for Spatio-Temporal Prediction on Streaming Data

Hao Miao, Yan Zhao+6 more|arXiv (Cornell University)|Apr 23, 2024

Data Management and Algorithms被引用 5

一句话总结

本文提出 URCL，一种针对流数据的时空预测的基于回放的连续学习框架，通过 STMixup 和 RMIR，以及一个整体的 STSimSiam 表征学习模块来缓解灾难性遗忘。

ABSTRACT

The widespread deployment of wireless and mobile devices results in a proliferation of spatio-temporal data that is used in applications, e.g., traffic prediction, human mobility mining, and air quality prediction, where spatio-temporal prediction is often essential to enable safety, predictability, or reliability. Many recent proposals that target deep learning for spatio-temporal prediction suffer from so-called catastrophic forgetting, where previously learned knowledge is entirely forgotten when new data arrives. Such proposals may experience deteriorating prediction performance when applied in settings where data streams into the system. To enable spatio-temporal prediction on streaming data, we propose a unified replay-based continuous learning framework. The framework includes a replay buffer of previously learned samples that are fused with training data using a spatio-temporal mixup mechanism in order to preserve historical knowledge effectively, thus avoiding catastrophic forgetting. To enable holistic representation preservation, the framework also integrates a general spatio-temporal autoencoder with a carefully designed spatio-temporal simple siamese (STSimSiam) network that aims to ensure prediction accuracy and avoid holistic feature loss by means of mutual information maximization. The framework further encompasses five spatio-temporal data augmentation methods to enhance the performance of STSimSiam. Extensive experiments on real data offer insight into the effectiveness of the proposed framework.

研究动机与目标

• 在流数据的时空预测中解决灾难性遗忘。
• 开发一个在多样化时空预测任务中都能工作的统一框架。
• 在从流数据学习的同时，保留整体的时空特征。
• 通过数据增强和自监督表征学习来提升学习。

提出的方法

• 引入回放缓冲区和时空混合 (STMixup) 以融合当前样本和过去样本。
• 定义基于排序的最大干扰检索 (RMIR) 用于选择具有代表性的回放样本。
• 设计一个带有 STEncoder 和 STDecoder 的时空自编码器用于预测。
• 提出一个带有互信息最大化的时空简单孪生网络 (STSimSiam)，用于整体特征保持。
• 实现五种时空数据增强方法以丰富表征。
• 证明该框架可以与现有基于自编码器的时空预测模型（如 GraphWaveNet）集成。

实验结果

研究问题

• RQ1 如何在流数据的时空预测中实现连续学习，同时避免灾难性遗忘？
• RQ2 在流设置中，统一框架是否能在多样化的时空预测任务上维持性能？
• RQ3 通过 STSimSiam 的整体特征保持是否能提升对流数据的长期预测准确性？
• RQ4 时空数据增强和 STMixup 在概念漂移下是否提升表征学习？

主要发现

• 一个统一的基于回放的学习框架（URCL）在流式时空预测中有效缓解灾难性遗忘。
• STMixup 与 RMIR 采样相结合，帮助在适应新数据的同时保留历史知识。
• 带有互信息最大化的 STSimSiam 促使对连续预测的整体特征保持。
• 五种时空数据增强方法提升自监督表征学习。
• 在真实数据集上的实验表明所提 URCL 框架在多种流式场景下提升了预测能力。