[논문 리뷰] TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

Yuxuan Wang, Haixu Wu외 7명|arXiv (Cornell University)|2024. 02. 29.

Time Series Analysis and Forecasting인용 수 46

한 줄 요약

TimeXer는 시계열 예측에서 외생 변수를 시계열 수준 변량 임베딩, 패치 수준의 내생 토큰, 및 크로스 어텐션을 통해 외생 정보를 통합하여 내생 시계열을 예측하도록 표준 트랜스포머를 향상시키며, 실세계 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Deep models have demonstrated remarkable performance in time series forecasting. However, due to the partially-observed nature of real-world applications, solely focusing on the target of interest, so-called endogenous variables, is usually insufficient to guarantee accurate forecasting. Notably, a system is often recorded into multiple variables, where the exogenous variables can provide valuable external information for endogenous variables. Thus, unlike well-established multivariate or univariate forecasting paradigms that either treat all the variables equally or ignore exogenous information, this paper focuses on a more practical setting: time series forecasting with exogenous variables. We propose a novel approach, TimeXer, to ingest external information to enhance the forecasting of endogenous variables. With deftly designed embedding layers, TimeXer empowers the canonical Transformer with the ability to reconcile endogenous and exogenous information, where patch-wise self-attention and variate-wise cross-attention are used simultaneously. Moreover, global endogenous tokens are learned to effectively bridge the causal information underlying exogenous series into endogenous temporal patches. Experimentally, TimeXer achieves consistent state-of-the-art performance on twelve real-world forecasting benchmarks and exhibits notable generality and scalability. Code is available at this repository: https://github.com/thuml/TimeXer.

연구 동기 및 목표

• 실세계 시계열에서 예측 정확도를 향상시키기 위해 외생 변수를 활용할 필요성을 동기화한다.
• 아키텍처 변경 없이 내생 및 외생 정보를 통합하는 트랜스포머 기반 프레임워크를 제안한다.
• 패치 수준의 시간 모델링과 시계열 수준의 교변수 상호작용을 가능하게 하는 임베딩 스킴을 설계한다.
• 외생 입력을 포함한 단기 및 장기 예측 벤치마크에서 강력한 실적을 입증한다.

제안 방법

• EndVariateEmbed 및 ExVariateEmbed를 도입하여 내생 및 외생 시퀀스를 공통의 D차원 변량 공간으로 투영한다.
• 내생 시퀀스를 패치별 시간 토큰으로 임베딩하여 시퀀스 내 시간 의존성을 포착한다.
• 내생 및 외생 변수에 대해 시계열 수준의 변량 토큰을 사용하여 다변량 상호작용을 모델링한다.
• 패치별 자가 어텐션을 사용해 내생 토큰의 시간 의존성을 학습하고, 내생에서 외생 변량 토큰으로의 변량별 교차 어텐션을 적용해 정보를 융합한다.
• 선형 디코더를 통해 내생 미래를 예측하고 L2 손실로 최적화한다.
• 외생 정보를 조화시키는 임베딩 전략에 의존하며 아키텍처 수정 없이 표준 트랜스포머 구조를 유지한다.

실험 결과

연구 질문

• RQ1 TimeXer가 외생 변수가 있을 때 내생 시계열의 예측 정확도를 향상시키는가?
• RQ2 시간 패치 대 시계열 수준 변량 선택이 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 내생 및 외생 변량 토큰 간의 교차 어텐션이 해석 가능한 다변량 관계를 드러내는가?
• RQ4 외생 데이터의 결측 또는 정렬 문제에 TimeXer는 얼마나 강인하며, 외생 회귀 길이가 성능에 어떤 영향을 미치는가?
• RQ5 다양한 실제 데이터 세트에서 TimeXer가 단기 및 장기 예측에 모두 효과적인가?

주요 결과

• TimeXer는 짧은-길은 설정에서 실제 세계의 12개 벤치마크에서 최첨단 성능을 달성한다.
• 중단 연구(ablation) 결과 제안된 설계(내생 패치 토큰 + 내생 변량 토큰 및 외생 변량 토큰과 교차 어텐션)가 대안 임베딩보다 우수함을 보여준다.
• TimeXer는 부분적으로 외생 데이터가 누락된 상황에서도 경쟁력을 유지하여 데이터 품질 이슈에 대한 강건성을 보여준다.
• 변량 토큰에 대한 교차 어텐션은 내생 변수와 외생 변수 간의 알려진 관계와 일치하는 해석 가능한 주의 맵을 제공한다.
• 외생 회귀 길이가 길어질수록 예측 성능이 일반적으로 향상되어 외부 맥락의 가치가 강조된다.