[논문 리뷰] Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting

Jiaxin Gao, Wenbo Hu외 1명|arXiv (Cornell University)|2023. 05. 30.

Time Series Analysis and Forecasting인용 수 14

한 줄 요약

클라이언트는 교차-시간 어텐션을 교차-변수 어텐션으로 대체하고 선형 추세 모듈을 통합하며 RevIN을 사용하여 상태-오브-더-아트(long-term multivariate time series forecasting)을 더 낮은 컴퓨트로 달성한다. 이를 통해 Transformer 기반 경쟁 모델과 TimesNet을 여러 실제 데이터 셋에서 능가한다.

ABSTRACT

Long-term time series forecasting (LTSF) is a crucial aspect of modern society, playing a pivotal role in facilitating long-term planning and developing early warning systems. While many Transformer-based models have recently been introduced for LTSF, a doubt have been raised regarding the effectiveness of attention modules in capturing cross-time dependencies. In this study, we design a mask-series experiment to validate this assumption and subsequently propose the "Cross-variable Linear Integrated ENhanced Transformer for Multivariate Long-Term Time Series Forecasting" (Client), an advanced model that outperforms both traditional Transformer-based models and linear models. Client employs linear modules to learn trend information and attention modules to capture cross-variable dependencies. Meanwhile, it simplifies the embedding and position encoding layers and replaces the decoder module with a projection layer. Essentially, Client incorporates non-linearity and cross-variable dependencies, which sets it apart from conventional linear models and Transformer-based models. Extensive experiments with nine real-world datasets have confirmed the SOTA performance of Client with the least computation time and memory consumption compared with the previous Transformer-based models. Our code is available at https://github.com/daxin007/Client.

연구 동기 및 목표

• Transformer 기반 LTSF 모델에서 교차-시간 어텐션이 시간 단계 간 의존성을 효과적으로 포착하는지 평가하여 연구를 동기화한다.
• 교차-변수 어텐션과 선형 추세 학습을 우선시하는 Client 모델을 제안하여 LTSF 성능과 효율성을 개선한다.
• 교차-변수 어텐션이 LTSF에서 교차-시간 어텐션보다 더 중요하다는 것을 입증한다.
• 임베딩/디코더 구성요소를 제거하고 RevIN 모듈을 사용하면 안정성과 성능이 향상된다.
• 다양한 변수 수와 예측 horizon을 갖는 아홉 가지 실제 데이터셋에 걸친 광범위한 실증 증거를 제공한다.]
• method:[
• Introduce Cross-variable Transformer to learn dependencies across variables rather than across time steps.
• Remove embedding and position encoding layers to avoid temporal information loss and simplify the architecture.
• Replace the decoder with a projection layer in the Transformer branch.
• Incorporate an integrated linear module to learn linear trend information, with channel-independent weights.
• Fuse Transformer and linear predictions with learnable weights, yielding the final forecast.
• Apply Reversible Instance Normalization (RevIN) to handle distribution shift and stabilize forecasting.

제안 방법

• 변수 간의 의존성을 시간 단계 간의 의존성 대신 학습하기 위해 Cross-variable Transformer 도입.
• 시간 정보 손실을 피하고 아키텍처를 단순화하기 위해 임베딩 및 위치 인코딩 층 제거.
• Transformer 가지에서 디코더를 예측 레이어로 대체.
• 채널에 독립적인 가중치를 갖는 선형 추세 정보를 학습하기 위한 통합 선형 모듈 도입.
• 학습 가능한 가중치를 갖는 Transformer와 선형 예측을 융합하여 최종 예측을 생성.
• 분포 이동를 다루고 예측을 안정화하기 위해 RevIN(RevErsible Instance Normalization)을 적용.

실험 결과

연구 질문

• RQ1 다변량 장기 시계열 예측에서 교차-변수 어텐션이 교차-시간 어텐션보다 우수하게 작동할 수 있는가?
• RQ2 교차-변수 Transformer에 선형 추세 모듈을 통합하면 Transformer 단독이나 선형 모델보다 정확성과 효율성이 더 나은가?
• RQ3 임베딩 층, 위치 인코딩, 디코더와 같은 아키텍처 선택이 LTSF 성능에 어떤 영향을 미치는가?
• RQ4 RevIN이 분포 이동 하에서 모델의 안정성과 예측 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 이점이 서로 다른 변수 수와 예측 horizon을 갖는 다양한 실제 데이터셋에서 일관되게 나타나는가?

주요 결과

• Client가 Transformer 기반 모델 및 TimesNet과 비교하여 아홉 가지 실제 데이터셋에서 최첨단 성능을 달성한다.
• 많은 변수(예: Electricity, Traffic)가 있는 데이터셋에서 교차-변수 의존성의 효과로 인해 MSE가 크게 개선된다.
• 모델은 데이터 셋마다 최상 또는 거의 최상인 MAE를 유지하며, 베이스라인보다 학습 시간과 메모리 사용이 더 적다.
• Mask-series 실험은 전통적인 Transformer의 교차-시간 어텐션이 시계열 정보를 포착하는 데 덜 효과적임을 보여주고, 교차-변수 어텐션이 LTSF에 더 큰 영향을 준다.
• Ablation 연구는 선형 모듈과 RevIN이 성능과 안정성에 크게 기여함을 보여주고, 이를 제거하면 성능이 저하되며 임베딩 층과 디코더는 성능에 악영향을 줄 수 있다.
• _LOOK_BACK 창 크기를 늘리는 것이 TimesNet이나 일반 Transformer보다 Client에 더 큰 이익을 준다, 이는 장기 의존성 학습이 더 잘 이루어짐을 시사한다.