[논문 리뷰] A Unified Replay-based Continuous Learning Framework for Spatio-Temporal Prediction on Streaming Data

Hao Miao, Yan Zhao외 6명|arXiv (Cornell University)|2024. 04. 23.

Data Management and Algorithms인용 수 5

한 줄 요약

논문은 URCL을 제안합니다. 이는 스트리밍 데이터에서 시공간 예측을 위한 재생 기반의 연속 학습 프레임워크로, STMixup과 RMIR, 그리고 전체적인 STSimSiam 표현 학습 모듈을 통해 재앙적 망각을 완화합니다.

ABSTRACT

The widespread deployment of wireless and mobile devices results in a proliferation of spatio-temporal data that is used in applications, e.g., traffic prediction, human mobility mining, and air quality prediction, where spatio-temporal prediction is often essential to enable safety, predictability, or reliability. Many recent proposals that target deep learning for spatio-temporal prediction suffer from so-called catastrophic forgetting, where previously learned knowledge is entirely forgotten when new data arrives. Such proposals may experience deteriorating prediction performance when applied in settings where data streams into the system. To enable spatio-temporal prediction on streaming data, we propose a unified replay-based continuous learning framework. The framework includes a replay buffer of previously learned samples that are fused with training data using a spatio-temporal mixup mechanism in order to preserve historical knowledge effectively, thus avoiding catastrophic forgetting. To enable holistic representation preservation, the framework also integrates a general spatio-temporal autoencoder with a carefully designed spatio-temporal simple siamese (STSimSiam) network that aims to ensure prediction accuracy and avoid holistic feature loss by means of mutual information maximization. The framework further encompasses five spatio-temporal data augmentation methods to enhance the performance of STSimSiam. Extensive experiments on real data offer insight into the effectiveness of the proposed framework.

연구 동기 및 목표

• 스트리밍 데이터에서 시공간 예측의 재앙적 망각을 다룬다.
• 다양한 시공간 예측 작업에서 작동하는 통합 프레임워크를 개발한다.
• 스트리밍 데이터를 학습하면서 전반적인 시공간 특성을 보존한다.
• 데이터 증강과 자기지도 표현 학습으로 학습을 강화한다.

제안 방법

• 현재 샘플과 과거 샘플을 융합하기 위한 재생 버퍼와 spatio-temporal mixup (STMixup)을 도입한다.
• 대표적인 재생 샘플을 선택하기 위한 순위 기반 최대 간섭 회수(RMIR)를 정의한다.
• STEncoder와 STDecoder로 구성된 예측용 spatio-temporal 오토인코더를 설계한다.
• 전반적인 특성 보존을 위한 상호 정보 최대화가 포함된 spatio-temporal simple siamese(STSimSiam) 네트워크를 제안한다.
• 표현 학습을 풍부하게 하기 위한 다섯 가지 시공간 데이터 증강 방법을 구현한다.
• 프레임워크가 GraphWaveNet과 같은 기존의 오토인코더 기반 시공간 예측기와 통합될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 스트리밍 데이터에서 시공간 예측을 위한 연속 학습을 재앙적 망각 없이 어떻게 달성할 수 있는가?
• RQ2 스트리밍 설정에서 다양한 시공간 예측 작업 간의 성능을 하나의 통합 프레임워크로 유지할 수 있는가?
• RQ3 STSimSiam을 통한 전체적인 특징 보존이 스트리밍 데이터의 장기 예측 정확도를 향상시키는가?
• RQ4 개념 드리프트 하에서 시공간 데이터 증강과 STMixup이 표현 학습을 향상시키는가?

주요 결과

• 통합 재생 기반 학습 프레임워크(URCL)가 스트리밍 시공간 예측에서 재앙적 망각을 효과적으로 완화한다.
• STMixup과 RMIR 샘플링의 결합이 새로운 데이터에 적응하는 동안 과거의 지식을 보존하는 데 도움이 된다.
• 상호 정보 최대화를 통한 STSimSiam은 연속 예측을 위한 전반적인 특징 보존을 촉진한다.
• 다섯 가지 시공간 데이터 증강 방법이 자기지도 표현 학습을 향상시킨다.
• 실제 데이터셋에 대한 실험에서 제안된 URCL 프레임워크가 스트리밍 시나리오 전반에서 예측 능력을 향상시킨다.