[논문 리뷰] Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting

Yong Liu, Haixu Wu외 2명|arXiv (Cornell University)|2022. 05. 28.

Time Series Analysis and Forecasting인용 수 261

한 줄 요약

논문은 시퀀스 정상화(Series Stationarization)와 비정상 주의(attention)로 예측 가능성과 비정상성을 균형 있게 다루는 Non-stationary Transformers를 제안하고, 여러 Transformer 변형에 걸쳐 여섯 가지 실제 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

Transformers have shown great power in time series forecasting due to their global-range modeling ability. However, their performance can degenerate terribly on non-stationary real-world data in which the joint distribution changes over time. Previous studies primarily adopt stationarization to attenuate the non-stationarity of original series for better predictability. But the stationarized series deprived of inherent non-stationarity can be less instructive for real-world bursty events forecasting. This problem, termed over-stationarization in this paper, leads Transformers to generate indistinguishable temporal attentions for different series and impedes the predictive capability of deep models. To tackle the dilemma between series predictability and model capability, we propose Non-stationary Transformers as a generic framework with two interdependent modules: Series Stationarization and De-stationary Attention. Concretely, Series Stationarization unifies the statistics of each input and converts the output with restored statistics for better predictability. To address the over-stationarization problem, De-stationary Attention is devised to recover the intrinsic non-stationary information into temporal dependencies by approximating distinguishable attentions learned from raw series. Our Non-stationary Transformers framework consistently boosts mainstream Transformers by a large margin, which reduces MSE by 49.43% on Transformer, 47.34% on Informer, and 46.89% on Reformer, making them the state-of-the-art in time series forecasting. Code is available at this repository: https://github.com/thuml/Nonstationary_Transformers.

연구 동기 및 목표

• 직접적인 정상화가 과도한 정상화로 이어져 비정상 데이터에서 Transformer의 능력을 제한할 수 있음을 주장한다.
• Series Stationarization과 De-stationary Attention을 결합한 일반적 프레임워크를 도입한다.
• 프레임워크가 다수의 실제 데이터셋에서 Transformer 기반 모델의 성능을 향상시킴을 보여준다.
• 프레임워크가 강력한 실증적 이득을 제공하고 기존 트랜스포머 변형들과의 광범위한 호환성을 갖는 것을 입증한다.

제안 방법

• Series Stationarization은 입력 시계열 각각을 슬라이딩 윈도우 정규화를 통해 표준화하고, 출력을 원래의統계로 되돌려 통계치를 복원한다.
• De-stationary Attention은 원시 시계열 통계로부터 비정상 요인(tau와 Delta)을 학습하여 주의(attention)에 비정상성을 재도입하고, 이를 MLP 프로젝터를 통해 구현한다.
• 자기-주의 입력은 정규화된 데이터로부터 Q', K', V'로 변환되고, 비정상 요인이 적용되어 비정상적 의존성을 회복한다(식 6).
• 프레임워크는 기본 Transformer(인코더-디코더)를 감싸고 표준 Attention을 De-stationary Attention으로 대체하여 효율성을 유지한다.
• 이 접근법은 주의 용어에 대한 소폭 수정으로 Transformer, Informer, Reformer, Autoformer 등 변형들과의 호환성을 가질 수 있다(부록 참조).

실험 결과

연구 질문

• RQ1 정상화가 필수 비정상 신호를 잃지 않으면서 단기 예측 가능성을 개선할 수 있는가?
• RQ2 경량의 De-stationary Attention 메커니즘이 정상화 과정에서 손실된 비정상 정보를 복구할 수 있는가?
• RQ3 제안된 모듈들이 다양한 Transformer 아키텍처와 실제 데이터셋 전반에 일반화되는가?
• RQ4 다양한 도메인에 걸친 비정상 시계열 예측에서 프레임워크의 실증적 영향은 무엇인가?

주요 결과

• 프레임워크는 여섯 가지 실제 벤치마크에서 다양한 예측 구간에 대해 기본 Transformer를 지속적으로 개선한다.
• 비정상적 데이터에서 이 방법은 상당한 MSE 감소를 달성한다(예: Transformer에서 약 49%, Informer에서 약 47%, Reformer에서 약 47%의 보고된 성과).
• Series Stationarization은 입력 시리즈 간 통계적 특성을 정렬하고, De-stationary Attention은 본래의 비정상성을 다시 도입해 사건성 있는 시간 의존성을 포착한다.
• 네 가지 주류 Transformer에 걸쳐 프레임워크는 큰 평균적 성능 향상을 제공한다(예: 평균 MSE 상승/향상: Transformer 약 49.43%, Informer 약 47.34%, Reformer 약 46.89%, Autoformer 약 10.57%).
• De-stationary Attention 구성요소는 과도한 정상화를 크게 완화하고 ground-truth 비정상 동역학에 더 가깝게 예측을 만든다.