[논문 리뷰] Timer-XL: Long-Context Transformers for Unified Time Series Forecasting

Yong Liu, Qin Guo외 3명|arXiv (Cornell University)|2024. 10. 07.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Timer-XL은 다변량 다음 토큰 예측과 독창적인 TimeAttention 메커니즘을 도입하여 장기적 맥락을 갖춘 시간 시리즈 예측을 위한 통합적이고 생성형 Transformer 프레임워크를 제안한다. 이 메커니즘은 이중 시간-변수 위치 임베딩을 통해 인과적이고 상호 및 내부 시리즈 간의 의존성을 포괄적으로 포착한다. 이는 최대 수천 개의 토큰에 이르는 맥락 길이를 갖는 단변량, 다변량, 공변량 기반 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며, 강력한 일반화 능력과 맥락 유연성을 입증한다.

ABSTRACT

We present Timer-XL, a causal Transformer for unified time series forecasting. To uniformly predict multidimensional time series, we generalize next token prediction, predominantly adopted for 1D token sequences, to multivariate next token prediction. The paradigm formulates various forecasting tasks as a long-context prediction problem. We opt for decoder-only Transformers that capture causal dependencies from varying-length contexts for unified forecasting, making predictions on non-stationary univariate time series, multivariate series with complicated dynamics and correlations, as well as covariate-informed contexts that include exogenous variables. Technically, we propose a universal TimeAttention to capture fine-grained intra- and inter-series dependencies of flattened time series tokens (patches), which is further enhanced by deft position embedding for temporal causality and variable equivalence. Timer-XL achieves state-of-the-art performance across task-specific forecasting benchmarks through a unified approach. Based on large-scale pre-training, Timer-XL achieves state-of-the-art zero-shot performance, making it a promising architecture for pre-trained time series models. Code is available at this repository: https://github.com/thuml/Timer-XL.

연구 동기 및 목표

• 기존 시간 시리즈 Transformer는 일반적으로 수백 개의 토큰에 이르는 제한된 맥락에서 작동하기 때문에 전반적인 추세와 비정상성 모델링 능력이 제한되어 있는 맥락 병목 문제를 해결하기 위해.
• 단일 장기 맥락 생성 프레임워크를 통해 단변량, 다변량, 공변량 기반 예측을 통합하기 위해 다변량 다음 토큰 예측을 통합적 파라다임으로 제안하기 위해.
• 생성형 Transformer가 인과성과 맥락 유연성을 유지하면서도 세밀한 내부 및 상호 시리즈 간 의존성을 효과적으로 모델링할 수 있도록 하기 위해.
• 다양한 시간 시리즈 동역학과 데이터셋에 걸쳐 대규모 사전 훈련 및 전이 학습이 가능한 스케일러블한 하나의 포괄적 예측 기초 모델 개발하기 위해.

제안 방법

• 모든 예측 작업을 평탄화된 시간 시리즈 패치에 대한 자동회귀 생성으로 프레임화하는 통합적 파라다임으로 다변량 다음 토큰 예측을 제안한다.
• 시간과 변수 차원 양쪽에서 상대적 위치 임베딩과 학습 가능한 마스킹을 갖춘 인과적 자기주의 메커니즘인 TimeAttention을 도입하여 상호 시리즈 간 의존성을 모델링하면서도 인과성을 유지한다.
• 시간 포인트와 변수에 대한 상대적 위치 임베딩을 통합하여 표준 자기주의 메커니즘을 수정하지 않고도 시계열 및 변수 인식 모델링 능력을 향상시킨다.
• Timer-XL을 Timer 모델의 초장기 맥락 확장으로 설계하여 대규모 사전 훈련을 통해 강력한 일반화 및 전이 가능성 확보한다.
• 모든 입력 및 출력 길이에서 추론이 가능한 생성 모델의 맥락 유연성을 유지하기 위해 디코더 전용 Transformer 아키텍처를 활용한다.
• 오류 누적 문제를 아키텍처 및 훈련 혁신을 통해 철저히 다루며, 장기 예측에 대해 반복적 자동회귀 생성을 적용한다.

실험 결과

연구 질문

• RQ1 통합적 생성형 Transformer 프레임워크는 단변량, 다변량, 공변량 기반 시나리오를 포함한 다양한 시간 시리즈 예측 작업을 단일 파라다임으로 효과적으로 처리할 수 있는가?
• RQ2 수천 개의 토큰에 이르는 맥락 길이로 연장함으로써 비정상성과 고차원 시간 시리즈에서의 예측 성능 향상 정도는 어떠한가?
• RQ3 제안된 TimeAttention 메커니즘이 표준 자기주의 또는 이전 접근 방식에 비해 내부 및 상호 시리즈 간 의존성 모델링 능력을 얼마나 향상시키는가?
• RQ4 장기 맥락 기능을 갖춘 대규모 사전 훈련된 생성형 Transformer는 다양한 데이터셋과 시간 동역학에 걸쳐 효과적으로 일반화되는가?
• RQ5 장기 맥락 시간 시리즈 예측에서 자동회귀 생성의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• Timer-XL은 ETTh1, ETTh2, ETTm1, ETTm2, Weather, Solar-Energy, Traffic 등 여러 벤치마크에서 최신 기술 수준의 성능를 달성하며, 모든 맥락 길이에서 MAE와 RMSE 모두 유의미한 향상을 보였다.
• ETTm1 데이터셋에서 맥락 길이 720일 때 MAE 0.164, RMSE 0.258을 기록하여 모든 평가된 맥락 길이에서 이전 방법들을 압도했다.
• ETTm1 벤치마크에서 1위 획득 수 19회, ETTm2에서 17회를 기록하여 다양한 데이터셋에서 강력한 일반화 능력과 강인성을 입증했다.
• 대규모 사전 훈련을 통해 모델 이동성(transferability)이 뛰어나, 예측되지 않은 시간 시리즈에서도 강력한 소수의 예시 및 제로샷 성능를 보였다.
• 96에서 720 토큰에 이르는 다양한 맥락 길이에서 높은 성능를 유지하여 맥락의 유연성과 하나의 포괄적 예측 모델로서의 적합성을 확인했다.
• 광범위한 아블레이션 연구를 통해 이중 위치 임베딩을 갖춘 TimeAttention이 표준 자기주의 및 기준 모델에 비해 성능 향상이 뚜렷하게 나타났으며, 특히 상호 시리즈 상관관계를 포착하는 데서 두드러졌다.