[논문 리뷰] Long-Range Transformers for Dynamic Spatiotemporal Forecasting

Jake Grigsby, Zhe Wang외 2명|arXiv (Cornell University)|2021. 09. 24.

Time Series Analysis and Forecasting참고 문헌 56인용 수 78

한 줄 요약

본 논문은 Spacetimeformer를 소개한다. 이는 각 시점의 각 변수들을 별도의 입력 토큰으로 다루는 시공간 Transformer이며, 미리 정의된 그래프 없이 동적 변수 관계를 학습하고, 교통, 전력/에너지, 날씨 및 지하철 이용자 수 등 다양한 작업에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

Multivariate time series forecasting focuses on predicting future values based on historical context. State-of-the-art sequence-to-sequence models rely on neural attention between timesteps, which allows for temporal learning but fails to consider distinct spatial relationships between variables. In contrast, methods based on graph neural networks explicitly model variable relationships. However, these methods often rely on predefined graphs that cannot change over time and perform separate spatial and temporal updates without establishing direct connections between each variable at every timestep. Our work addresses these problems by translating multivariate forecasting into a "spatiotemporal sequence" formulation where each Transformer input token represents the value of a single variable at a given time. Long-Range Transformers can then learn interactions between space, time, and value information jointly along this extended sequence. Our method, which we call Spacetimeformer, achieves competitive results on benchmarks from traffic forecasting to electricity demand and weather prediction while learning spatiotemporal relationships purely from data.

연구 동기 및 목표

• 다변량 예측의 필요성과 단일 토큰당 하나의 타임스텝 트랜스포머가 공간 관계를 포착하는 데 가진 한계를 제시한다.
• 주어진 시점의 각 토큰이 변수 하나를 나타내는 시공간 시퀀스 형식을 제안한다.
• Spacetimeformer 인코더–디코더를 개발하여 시공간 주의(attention)를 통해 동적 변수 관계를 학습한다.
• 교통, 전력/에너지, 날씨에서 지하철 이용자 수까지 다양한 벤치마크에서 경쟁력 있는 성능을 시연한다.
• 향후 연구를 위해 데이터셋과 모델 구현을 포함하는 오픈소스 코드베이스를 제공한다.

제안 방법

• 다변량 입력을 긴 토큰 시퀀스로 평탄화하고, 각 토큰은 주어진 시점의 단일 변수를 나타낸다.
• Time2Vec로 시간 및 변수 정보를 임베딩하고, 학습된 시간/변수 임베딩과 위치 임베딩을 더한다.
• 확장된 토큰 시퀀스에 대해 시공간 주의를 적용하여 동적인 공간적·시간적 상호 작용을 학습한다.
• 트랜스포머 인코더–디코더 아키텍처 내에서 전역 시공간 주의와 함께 로컬 주의 편향(변수별)을 통합한다.
• 긴 시퀀스를 처리하기 위한 확장 가능한 어텐션 기법(예: Performer FAVOR+)과 선택적 컨볼루션/이동 창(shifted windows)을 사용한다.
• 값이 원래 누락된 경우를 신호하는 전용 임베딩 전략으로 누락 데이터를 처리한다.

실험 결과

연구 질문

• RQ1 Spacetimeformer가 장기 예측 과제에서 seq2seq 모델과 대등하거나 더 나은 성능을 낼 수 있는가?
• RQ2 사전 정의된 그래프에 의존하지 않고 그래프 기반 공간 모델과 경쟁할 수 있는가?
• RQ3 시공간 시퀀스 형식이 데이터를 통해 의미 있는 변수 관계를 직접 학습하게 하는가?
• RQ4 이 접근법이 긴 시퀀스와 고차원 공간 문제에 얼마나 잘 확장되는가?

주요 결과

• Spacetimeformer는 교통 예측에서부터 전력 생산, 기온 예측, 지하철 이용자 수에 이르기까지 벤치마크에서 경쟁력 있는 결과를 달성한다.
• 사전 정의된 공간 그래프를 필요로 하지 않는 그래프 기반 방법과 표준 TSF baselines에 대해 우수한 성능을 보인다.
• 주목 패턴은 실제 공간 구조와 일치하는 학습된 변수 관계를 정성적 분석에서 드러낸다.
• 빠른 어텐션과 구조적 바이어스를 사용하여 긴 시공간 시퀀스에 확장되며, 전용 임베딩으로 누락 데이터를 처리한다.