[論文レビュー] Learning Fast and Slow for Online Time Series Forecasting

Quang Pham, Chenghao Liu+2 more|arXiv (Cornell University)|Feb 23, 2022

Time Series Analysis and Forecasting被引用数 15

ひとこと要約

本稿では、補完的学習システム（CLS）理論にインspiredされた、最新の変化への素早い適応を可能にする各層ごとのアダプタと、繰り返し出現するパターンの記憶・更新を可能にする連想記憶を組み合わせた、オンライン時系列予測のための新規フレームワークFSNetを提案する。FSNetは、速やかな学習と長期的知識保持の動的バランスを実現することで、非定常的かつ繰り返し出現するパターンを効果的に処理し、実データおよび合成データの両方で最先端の性能を達成している。

ABSTRACT

The fast adaptation capability of deep neural networks in non-stationary environments is critical for online time series forecasting. Successful solutions require handling changes to new and recurring patterns. However, training deep neural forecaster on the fly is notoriously challenging because of their limited ability to adapt to non-stationary environments and the catastrophic forgetting of old knowledge. In this work, inspired by the Complementary Learning Systems (CLS) theory, we propose Fast and Slow learning Networks (FSNet), a holistic framework for online time-series forecasting to simultaneously deal with abrupt changing and repeating patterns. Particularly, FSNet improves the slowly-learned backbone by dynamically balancing fast adaptation to recent changes and retrieving similar old knowledge. FSNet achieves this mechanism via an interaction between two complementary components of an adapter to monitor each layer's contribution to the lost, and an associative memory to support remembering, updating, and recalling repeating events. Extensive experiments on real and synthetic datasets validate FSNet's efficacy and robustness to both new and recurring patterns. Our code is available at \url{https://github.com/salesforce/fsnet}.

研究の動機と目的

• 概念のずれ（concept drift）と壊滅的忘却（catastrophic forgetting）に苦しむ深層学習モデルが、オンライン時系列予測において直面する課題に対処すること。
• ストリーミングデータにおける新しいパターンへの適応性を高める一方で、以前に学習した繰り返し出現するパターンの知識を保持すること。
• タスク境界を明示的に定義せずに、オンライン予測をタスクフリー継続的学習問題として定式化すること。
• 分布シフトの事前知識を必要とせず、速やかな適応と長期的記憶のバランスを取れるスケーラブルで頑健なフレームワークの開発。

提案手法

• 各層アダプタを用いることで、各中間層が最新の時系列サンプルから適応的に学習可能となり、新しいパターンの速やかな学習が可能となる。
• 連想記憶部は、トレーニング中に観測された繰り返し出現するパターンの埋め込みを格納・取得・更新し、パターンが再び出現した際に効率的な再認識を可能にする。
• 各層アダプタと連想記憶の相互作用により、事前に学習された表現を活用することで、繰り返し現れる出来事への迅速な適応が可能となる。
• 従来の深層ニューラルネットワークバックボーン（例：TCN）にプラグインとして統合可能であり、アーキテクチャの変更を必要としない。
• ストリーミングデータにおける分布シフトに対応するため、オンライン統計推定を伴う特徴量ごとのz正規化を採用する。
• 本手法はタスクフリーである。つまり、タスクラベルや概念のずれの明示的検出を必要とせず、時間的滑らかさとパターンの再出現に依存する。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを再開することなく、再訓練なしに、オンライン環境下で非定常的時系列データにさらに適応可能な深層学習モデルをどのように設計できるか？
• RQ2 速やかな学習と遅い学習の二重メカニズムは、時系列予測において新しいパターンと繰り返し出現するパターンの両方の性能向上に寄与するか？
• RQ3 連想記憶部は、時系列学習における壊滅的忘却をどれほど軽減できるか？
• RQ4 各層アダプタと連想記憶の相互作用は、モデルの一般化性能と適応速度をどのように向上させるか？
• RQ5 経験再プレイ（experience replay）はFSNetの性能にどのような影響を及ぼすか？また、記憶と計算コストにどのような影響を与えるか？

主な発見

• FSNetは、実世界および合成時系列データの両方で強力なベースラインを上回り、概念のずれや繰り返し出現パターンに対して優れたロバスト性を示している。
• 経験再プレイを備えた変種FSNet+ERは、すべての設定でさらに優れた性能を達成しており、オンライン学習における再プレイの価値を裏付けている。
• S-AbruptおよびS-Gradualの合成データセットでは、MAEおよびRMSEが低く抑えられ、一部のケースでベースラインモデル比で最大20%の改善が達成されている。
• 可視化結果から、連想記憶ユニットが学習中に定期的に活性化していることが判明しており、特に第4層および第6層などの中層で顕著に観察されている。
• モデルは時間的滑らかさとパターンの再出現を効果的に活用しており、明示的な変化検出やタスク境界への依存は最小限に抑えられている。
• アブレーションスタディの結果、各層アダプタと連想記憶の両方が性能向上に顕著に寄与しており、併用することで最も優れた結果が得られている。