[논문 리뷰] Learning Fast and Slow for Online Time Series Forecasting

Quang Pham, Chenghao Liu외 2명|arXiv (Cornell University)|2022. 02. 23.

Time Series Analysis and Forecasting인용 수 15

한 줄 요약

이 논문은 보완 학습 시스템(Complementary Learning Systems, CLS) 이론을 영감으로 삼아, 최근 변화에 빠르게 적응하는 데 사용되는 각 레이어별 어댑터와 반복 패턴을 회상하고 업데이트하는 연상 기억을 결합한 새로운 온라인 시계열 예측 프레임워크인 FSNet을 제안한다. FSNet은 빠른 학습과 장기 지식 유지 간의 동적 균형을 통해 비정상성과 반복 패턴을 효과적으로 처리함으로써 실시간 및 합성 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

The fast adaptation capability of deep neural networks in non-stationary environments is critical for online time series forecasting. Successful solutions require handling changes to new and recurring patterns. However, training deep neural forecaster on the fly is notoriously challenging because of their limited ability to adapt to non-stationary environments and the catastrophic forgetting of old knowledge. In this work, inspired by the Complementary Learning Systems (CLS) theory, we propose Fast and Slow learning Networks (FSNet), a holistic framework for online time-series forecasting to simultaneously deal with abrupt changing and repeating patterns. Particularly, FSNet improves the slowly-learned backbone by dynamically balancing fast adaptation to recent changes and retrieving similar old knowledge. FSNet achieves this mechanism via an interaction between two complementary components of an adapter to monitor each layer's contribution to the lost, and an associative memory to support remembering, updating, and recalling repeating events. Extensive experiments on real and synthetic datasets validate FSNet's efficacy and robustness to both new and recurring patterns. Our code is available at \url{https://github.com/salesforce/fsnet}.

연구 동기 및 목표

• 딥 러닝 모델이 개념 이동과 치명적 잊힘 현상으로 인해 어려움을 겪는 온라인 시계열 예측 문제를 해결하기 위해.
• 스트리밍 데이터에서 새로운 패턴에 대한 적응력을 향상시키면서도 이전에 관찰한 반복 패턴에 대한 지식을 유지하기 위해.
• 사전에 정의된 작업 경계에 의존하지 않고, 온라인 예측을 작업 기반 지속적 학습 문제로 재정의하기 위해.
• 분포 이동에 대한 사전 지식이 필요 없이도 빠른 적응과 장기 기억 간의 균형을 유지할 수 있는 확장 가능하고 견고한 프레임워크를 개발하기 위해.

제안 방법

• FSNet는 각 중간 레이어가 최근 시계열 샘플에서 적응적으로 학습할 수 있도록 허용하는 각 레이어별 어댑터를 사용하여 새로운 패턴의 빠른 학습을 지원한다.
• 연상 기억 구성요소는 훈련 중에 관찰된 반복 패턴의 임베딩을 저장하고, 검색하며, 업데이트하여 패턴이 再등장할 경우 효율적인 회상이 가능하게 한다.
• 각 레이어별 어댑터와 연상 기억 간의 상호작용을 통해 모델은 이전에 학습한 표현을 활용하여 반복적인 사건에 신속히 적응할 수 있다.
• 프레임워크는 기존의 딥 네URAL 네트워크 백본(예: TCN)에 플러그인 방식으로 설계되어 아키텍처 변경 없이 적용 가능하다.
• 스트리밍 데이터에서의 분포 이동을 처리하기 위해 각 특성별로 온라인 통계 적응을 포함한 z-정규화를 사용한다.
• 이 방법은 작업 기반(즉, 작업 레이블이나 개념 이동 탐지가 필요 없이)이며, 시간적 연속성과 패턴 재등장에 의존한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 온라인 환경에서 비정상성 시계열 데이터에 대해 딥 러닝 모델의 적응성을 어떻게 향상시킬 수 있는가?
• RQ2 빠른 학습과 느린 학습의 이중 메커니즘이 시계열 예측에서 새로운 패턴과 반복 패턴 양쪽 모두의 성능 향상에 기여할 수 있는가?
• RQ3 연상 기억 구성요소는 온라인 학습에서 치명적 잊힘 현상을 어느 정도 완화할 수 있는가?
• RQ4 각 레이어별 어댑터와 연상 기억 간의 상호작용은 모델의 일반화 능력과 적응 속도를 어떻게 향상시키는가?
• RQ5 경험 재생(Experience Replay)은 FSNet의 성능에 어떤 영향을 미치며, 메모리 및 계산 복잡도에 어떠한 영향을 미치는가?

주요 결과

• FSNet은 실시간 및 합성 시계열 데이터셋에서 강력한 베이스라인 모델들을 능가하며, 개념 이동과 반복 패턴에 대한 뛰어난 내성성을 입증한다.
• 경험 재생(Experience Replay) 기능이 포함된 변종 FSNet+ER는 모든 설정에서 더욱 뛰어난 성능을 기록하여 재생 기능의 가치를 확인한다.
• S-Abrupt 및 S-Gradual 합성 데이터셋에서 FSNet은 더 낮은 MAE와 RMSE를 기록했으며, 일부 경우에서 기준 모델 대비 최대 20% 향상된 성능을 보였다.
• 시각화 결과, 연상 기억 유닛이 학습 중에 정기적으로 활성화되며, 특히 초기 및 중간 레이어(예: 4번째 및 6번째 레이어)에서 활성화되는 것으로 나타나, 저장된 패턴의 활발한 사용이 이루어지고 있음을 시사한다.
• 모델는 명시적인 변화 탐지나 작업 경계에 거의 의존하지 않고도 시간적 연속성과 패턴 재등장을 효과적으로 활용한다.
• 제거 실험 결과, 각 레이어별 어댑터와 연상 기억 모두 성능 향상에 기여하며, 두 요소의 조합이 가장 우수한 성능을 낸다.