[논문 리뷰] A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting

Zanwei Zhou, Ruizhe Zhong외 4명|arXiv (Cornell University)|2022. 12. 06.

Time Series Analysis and Forecasting인용 수 8

한 줄 요약

이 논문은 MTSF 트랜스포머에서 표준 시점 토큰화가 자기주의 어텐션의 토큰 균일성 인덕티브 바이어스로 인해 과도하게 부드러워지는 현상이 발생함을 규명한다. 시간 변수 토큰화(TVT)로 전환하고 디코더를 단일 선형 레이어로 단순화함으로써, 아키텍처의 단순성에도 불구하고 다섯 개의 벤치마크에서 최신 기술(SOTA) 모델을 능가하는 우수한 장기 예측 성능을 달성한다.

ABSTRACT

Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.

연구 동기 및 목표

• 기본적인 MTSF 트랜스포머에서 성능 저하의 근본 원인, 특히 장기 예측에서의 과도한 부드러움을 규명하는 것.
• 토큰화 전략이 시계열 모델링에서 자기주의 어텐션의 토큰 균일성 인덕티브 바이어스에 미치는 영향을 분석하는 것.
• 토큰화, 임bedding, 디코더 구조를 재고함으로써 MTSF를 위한 트랜스포머 아키텍처를 재설계하여 과도한 부드러움을 완화하는 것.
• 시간 변수 토큰화(TVT)와 선형 디코더를 갖춘 단순한 아키텍처가 복잡하게 설계된 SOTA 트랜스포머를 능가할 수 있음을 입증하는 것.

제안 방법

• 기존의 시점 토큰화(TPT)를 시간 변수 토큰화(TVT)로 대체하여 각 변수를 별도의 토큰으로 간주함으로써, 인덕티브 바이어스를 시간 차원에서 변수 차원으로 이동시킴.
• TVT에 맞게 위치 임베딩을 재구성하여 변수 간 시간적 관계가 유지되도록 보장함.
• 표준 트랜스포머 디코더를 단일 선형 레이어로 교체하여 불필요한 어텐션 계산을 제거하고 과적합을 줄임.
• LogSparse 및 Informer와 마찬가지로 단일 순방향 전파 전략을 사용하여 순차적 예측 오차 누적이 발생하지 않도록 방지함.
• 표준 MTSF 손실 함수를 사용하여 표준 벤치마크에서 모델을 엔드 투 엔드로 훈련함.
• 예측값과 진짜값 시계열 간 유클리드 거리 유사도 맵을 통해 토큰 균일성을 평가하여 과도한 부드러움을 정량화함.

실험 결과

연구 질문

• RQ1 MTSF 트랜스포머에서 표준 시점 토큰화 전략이 자기주의 어텐션의 토큰 균일성 인덕티브 바이어스로 인해 과도한 부드러움을 유도하는가?
• RQ2 시간점이 아닌 변수 중심으로 토큰화를 재정의하면 과도한 부드러움이 감소하고 예측 정확도가 향상되는가?
• RQ3 단일 선형 레이어로 구성된 간소화된 디코더가 장기 MTSF에서 복잡한 어텐션 중심 디코더를 능가할 수 있는가?
• RQ4 제안된 TVT 기반 아키텍처는 예측 정확도와 일반화 능력 측면에서 최신 기술(MTSF 트랜스포머)과 비교해 어떻게 성능을 내는가?

주요 결과

• 시점 토큰화(TPT) 전략은 예측에서 강력하고 일관된 토큰 균일성을 유도하며, 이는 진짜 데이터의 변수 및 시간에 따라 변하는 균일성과는 다릅니다.
• TVT 기반 모델은 시계열의 고주파 변동을 더 잘 유지하여 TPT 모델 대비 덜 과도하게 부드러운 예측을 제공합니다.
• 선형 디코더를 갖춘 TVT 기반 트랜스포머는 다섯 개의 표준 벤치마크에서 최신 기술 모델을 대부분의 경우 능가하는 뛰어난 성능을 달성합니다.
• TVT 모델은 과적합이 적어, 훈련 및 테스트 세트에서 모두 시점 토큰 균일성 곡선이 진짜값에 더 가까이 유지됩니다.
• 간소화된 디코더 설계가 성능 향상에 크게 기여하며, 이는 장기 예측에서 정확도를 높이기 위해 복잡한 어텐션 메커니즘이 디코더에 반드시 필요하지 않음을 시사합니다.
• 제안된 아키텍처는 최소한의 구조적 복잡성으로도 뛰어난 성능을 달성하여, 점점 더 복잡해지는 MTSF 트랜스포머 설계 경향에 도전합니다.