[論文レビュー] A Unified Replay-based Continuous Learning Framework for Spatio-Temporal Prediction on Streaming Data

Hao Miao, Yan Zhao+6 more|arXiv (Cornell University)|Apr 23, 2024

Data Management and Algorithms被引用数 5

ひとこと要約

本論文は URCL を提案する。ストリーミングデータ上の空間-時間予測のためのリプレイベースの連続学習フレームワークで、STMixup と RMIR による壊滅的忘却の緩和と、全体的な STSimSiam 表現学習モジュールを備える。

ABSTRACT

The widespread deployment of wireless and mobile devices results in a proliferation of spatio-temporal data that is used in applications, e.g., traffic prediction, human mobility mining, and air quality prediction, where spatio-temporal prediction is often essential to enable safety, predictability, or reliability. Many recent proposals that target deep learning for spatio-temporal prediction suffer from so-called catastrophic forgetting, where previously learned knowledge is entirely forgotten when new data arrives. Such proposals may experience deteriorating prediction performance when applied in settings where data streams into the system. To enable spatio-temporal prediction on streaming data, we propose a unified replay-based continuous learning framework. The framework includes a replay buffer of previously learned samples that are fused with training data using a spatio-temporal mixup mechanism in order to preserve historical knowledge effectively, thus avoiding catastrophic forgetting. To enable holistic representation preservation, the framework also integrates a general spatio-temporal autoencoder with a carefully designed spatio-temporal simple siamese (STSimSiam) network that aims to ensure prediction accuracy and avoid holistic feature loss by means of mutual information maximization. The framework further encompasses five spatio-temporal data augmentation methods to enhance the performance of STSimSiam. Extensive experiments on real data offer insight into the effectiveness of the proposed framework.

研究の動機と目的

• ストリーミングデータ上の空間-時間予測における壊滅的忘却の問題に対処する。
• 多様な空間-時間予測タスクに対応する統一フレームワークを開発する。
• ストリーミングデータを学習する際に、全体的な空間-時間特徴を保持する。
• データ拡張と自己教師付き表現学習を用いて学習を強化する。

提案手法

• 現在のサンプルと過去のサンプルを融合するために、リプレイバッファと時空間ミックスアップ（STMixup）を導入する。
• 代表的なリプレイサンプルを選択するために、ランキングベースの最大干渉取得（RMIR）を定義する。
• 予測用の STEncoder および STDecoder を備えた時空間オートエンコーダを設計する。
• 全体的特徴の保持のため、相互情報量最大化を用いた時空間シンプル・サイアンサイム（STSimSiam）ネットワークを提案する。
• 表現を強化するために 5 つの時空間データ拡張手法を実装する。
• GraphWaveNet のような既存のオートエンコーダベースの時空間予測器と統合できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングデータ上の時空間予測に対して、壊滅的忘却を起こすことなく継続的学習をどのように実現できるか？
• RQ2 ストリーミング設定で多様な時空間予測タスクに対し、統一フレームワークが性能を維持できるか？
• RQ3 STSimSiam による全体的特徴保持は、ストリーミングデータの長期予測精度を向上させるか？
• RQ4 時空間データ拡張と STMixup は概念ドリフト下で表現学習を強化するか？

主な発見

• 統一的なリプレイベース学習フレームワーク（URCL）は、ストリーミング時空間予測における壊滅的忘却を効果的に緩和する。
• STMixup と RMIR サンプリングを組み合わせることで、新しいデータへ適応しつつ歴史的知識を保持する。
• 相互情報量最大化を備えた STSimSiam は、継続的予測のための全体的特徴保持を促進する。
• 5 つの時空間データ拡張手法は自己教師付き表現学習を強化する。
• 実データセットでの実験は、提案された URCL フレームワークがストリーミングシナリオ全体で予測能力を向上させることを示している。