[논문 리뷰] AdaRNN: Adaptive Learning and Forecasting of Time Series

Yuntao Du, Jindong Wang외 5명|arXiv (Cornell University)|2021. 08. 10.

Time Series Analysis and Forecasting참고 문헌 56인용 수 36

한 줄 요약

AdaRNN은 시계열의 비정류성에 적응하기 위해 Temporal Covariate Shift(TCS)와 두 모듈 프레임워크(Temporal Distribution Characterization 및 Temporal Distribution Matching)를 도입하여 분류 및 회귀 성능을 향상시킵니다.

ABSTRACT

Time series has wide applications in the real world and is known to be difficult to forecast. Since its statistical properties change over time, its distribution also changes temporally, which will cause severe distribution shift problem to existing methods. However, it remains unexplored to model the time series in the distribution perspective. In this paper, we term this as Temporal Covariate Shift (TCS). This paper proposes Adaptive RNNs (AdaRNN) to tackle the TCS problem by building an adaptive model that generalizes well on the unseen test data. AdaRNN is sequentially composed of two novel algorithms. First, we propose Temporal Distribution Characterization to better characterize the distribution information in the TS. Second, we propose Temporal Distribution Matching to reduce the distribution mismatch in TS to learn the adaptive TS model. AdaRNN is a general framework with flexible distribution distances integrated. Experiments on human activity recognition, air quality prediction, and financial analysis show that AdaRNN outperforms the latest methods by a classification accuracy of 2.6% and significantly reduces the RMSE by 9.0%. We also show that the temporal distribution matching algorithm can be extended in Transformer structure to boost its performance.

연구 동기 및 목표

• 비정류 시계열 예측을 위한 Temporal Covariate Shift(TCS) 정의.
• 시계열을 분포 다양성이 최대가 되도록 구간으로 나누어 공유 지식을 포착합니다.
• 발견된 구간 간 분포를 맞춤으로써 적응적 RNN 기반 예측기를 학습합니다.

제안 방법

• TCS를 정의하고 두 모듈: Temporal Distribution Characterization(TDC) 및 Temporal Distribution Matching(TDM)을 갖춘 AdaRNN을 제안합니다.
• TDC는 구간 간 분포 거리를 최대화하는 원칙(max-entropy)을 통해 시계를 K 구간으로 분할합니다.
• TDM은 RNN 은닉 상태에 적용된 예측 손실과 구간 간 분포 매칭 규제항을 최소화하여 예측 모델을 학습합니다.
• 분포 매칭을 위한 상태 가중치(alpha)의 적응을 위한 Boosting 기반 스킴을 도입합니다.
• 거리 척도(예: 코사인, MMD, 적대적)와 RNN 변형(GRU/LSTM)에 대한 유연성을 허용합니다.
• 네트워크 매개변수와 상태 중요도들을 교차 최적화하는 엔드투엔드 학습 알고리즘(AdaRNN)을 제공합니다.

실험 결과

연구 질문

• RQ1 시간에 따라 달라지는 분포(TCS)에서의 견고한 예측을 위한 시계열 모델링은 어떻게 이루어져야 합니까?
• RQ2 공유 지식을 포착하기 위해 분포 다양성이 최대가 되도록 자동으로 구간을 발견할 수 있습니까?
• RQ3 발견된 구간 간의 분포 매칭이 RNN 기반 모델의 예측 일반화에 어떤 도움을 줍니까?

주요 결과

• AdaRNN은 비정류 시계열 설정에서 분류 및 회귀 작업에서 최첨단 벤치마크를 능가합니다.
• UCI 활동 인식에서 AdaRNN은 가장 좋은 베이스라인 DANN-RNN보다 정확도 2.56% 더 높고 F1은 3.07% 더 높습니다.
• 대기질 및 전력 예측에서 AdaRNN은 연구에 보고된 바와 같이 지점 및 데이터셋 전반에 걸쳐 RMSE/MAE 감소를 달성합니다.
• 시간적 분포 매칭 모듈은 추가 이득을 위해 Transformer 아키텍처로 확장될 수 있습니다.
• AdaRNN은 기본 RNN(바닐라 RNN, LSTM, GRU) 및 분포 거리(cosine, MMD, 적대적)에 대해 무가합니다.