[논문 리뷰] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

Yong Liu, Tengge Hu외 5명|arXiv (Cornell University)|2023. 10. 10.

Time Series Analysis and Forecasting인용 수 354

한 줄 요약

iTransformer이 트랜스포머 아키텍처를 반전하여 각 변수를 독립 토큰으로 취급하고 변수들 간의 셀프 어텐션을 적용하는 한편 시리즈 표현에 대해 공유 FFN을 사용하여 시계열 예측에서 최첨단 성능을 달성합니다.

ABSTRACT

The recent boom of linear forecasting models questions the ongoing passion for architectural modifications of Transformer-based forecasters. These forecasters leverage Transformers to model the global dependencies over temporal tokens of time series, with each token formed by multiple variates of the same timestamp. However, Transformers are challenged in forecasting series with larger lookback windows due to performance degradation and computation explosion. Besides, the embedding for each temporal token fuses multiple variates that represent potential delayed events and distinct physical measurements, which may fail in learning variate-centric representations and result in meaningless attention maps. In this work, we reflect on the competent duties of Transformer components and repurpose the Transformer architecture without any modification to the basic components. We propose iTransformer that simply applies the attention and feed-forward network on the inverted dimensions. Specifically, the time points of individual series are embedded into variate tokens which are utilized by the attention mechanism to capture multivariate correlations; meanwhile, the feed-forward network is applied for each variate token to learn nonlinear representations. The iTransformer model achieves state-of-the-art on challenging real-world datasets, which further empowers the Transformer family with promoted performance, generalization ability across different variates, and better utilization of arbitrary lookback windows, making it a nice alternative as the fundamental backbone of time series forecasting. Code is available at this repository: https://github.com/thuml/iTransformer.

연구 동기 및 목표

• 전통적인 Transformer 임베딩이 다변량 시계열에 필요한지 의문을 제기한다.
• 각 변수를 고유 토큰으로 임베딩하고 변량 간 주의를 적용하는 반전-트랜스포머 설계 제안.
• 반전 아키텍처가 성능, 변량 간 일반화, 더 긴 lookback 윈도우의 효과적 사용을 개선함을 보여준다.
• 실제 예측 벤치마크에서 최첨단 결과를 시연하고 구성 요소 선택을 분석한다.

제안 방법

• 각 변수를 독립 토큰으로 임베딩한다 (variates as tokens).
• 토큰 간 다변량 상관관계를 포착하기 위해 셀프 어텐션을 사용한다.
• 각 변량 토큰에 공유 피드포워드 네트워크를 적용하여 시계열 표현을 학습한다.
• 측정 차이를 줄이기 위해 각 변량 표현에 계층 정규화를 적용한다.
• 최종 변량 표현으로부터 단순한 프로젝션으로 미래 값을 예측한다.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처를 반전시키는 것이 (각 변수를 별도의 토큰으로 취급) 다변량 시계열 예측을 개선할 수 있는가?
• RQ2 반전 트랜스포머 구성요소들(변량 간 어텐션 및 각 변량별 FFN)이 더 나은 표현과 예측 성능으로 이어지는가?
• RQ3 iTransformer가 보지 못한 변량에 일반화하고 다양한 lookback 윈도우를 어떻게 처리하는가?
• RQ4 반전형 대 일반형 트랜스포머 예측기의 lookback 길이가 성능에 미치는 영향은 무엇인가?
• RQ5 iTransformer가 실제 세계의 고차원 시계열 예측에 실용적인 백본이 될 수 있는가?

주요 결과

• iTransformer는 여러 실제 데이터셋에서 최첨단 성능을 달성한다.
• 반전은 어텐션이 다변량 상관관계를 더 명확하게 학습하고 FFN이 변량별 표현을 학습하도록 한다.
• 이 모델은 보지 않은 변량에 대해 더 잘 일반화하며 학습과 추론 사이에서 변량 수를 유연하게 지원한다.
• 더 긴 lookback 윈도우는 iTransformer의 성능을 향상시키는 반면, 일반 트랜스포머의 이익은 제한되거나 부정적이다.
• 반전 프레임워크 내에서 효율적인 어텐션 변형을 적용하면 계산량 감소로 강한 성능을 얻는다.
• 제거 연구에서 변량-수준 어텐션과 시간적 FFN의 조합이 최상의 결과를 낳는다.