[논문 리뷰] Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer

William T. Ng, K. Siu외 2명|arXiv (Cornell University)|2022. 08. 19.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 다변량 시계열을 시간에 따라 변화하는 상호관계를 반영한 동적 그래프로 표현함으로써 내부 시계열 간의 시간적 의존성과 상호 시계열 간 상관관계를 모두 포착하는 새로운 방법인 Time Series Attention Transformer (TSAT)을 제안한다. 자기주의 주의 메커니즘과 초경험적 모드 분해(SMD) 모듈을 통합함으로써, TSAT는 다양한 예측 벤치마크에서 여섯 개의 최신 기술 모델을 능가하며 실제 데이터 및 합성 데이터 모두에서 뛰어난 성능을 보여준다.

ABSTRACT

A reliable and efficient representation of multivariate time series is crucial in various downstream machine learning tasks. In multivariate time series forecasting, each variable depends on its historical values and there are inter-dependencies among variables as well. Models have to be designed to capture both intra- and inter-relationships among the time series. To move towards this goal, we propose the Time Series Attention Transformer (TSAT) for multivariate time series representation learning. Using TSAT, we represent both temporal information and inter-dependencies of multivariate time series in terms of edge-enhanced dynamic graphs. The intra-series correlations are represented by nodes in a dynamic graph; a self-attention mechanism is modified to capture the inter-series correlations by using the super-empirical mode decomposition (SMD) module. We applied the embedded dynamic graphs to times series forecasting problems, including two real-world datasets and two benchmark datasets. Extensive experiments show that TSAT clearly outerperforms six state-of-the-art baseline methods in various forecasting horizons. We further visualize the embedded dynamic graphs to illustrate the graph representation power of TSAT. We share our code at https://github.com/RadiantResearch/TSAT.

연구 동기 및 목표

• 다변량 시계열의 시간 동적 특성과 다변수 간 의존성을 효과적으로 모델링할 수 있는 표현 학습 프레임워크를 개발하기 위해.
• 복잡한 상호 시계열 상관관계를 포착하면서도 풍부한 내부 시계열 시간 패턴을 유지하는 과제를 해결하기 위해.
• 학습 가능한 구조적 표현을 갖춘 엣지 강화 동적 그래프로 시계열을 변환함으로써 예측 정확도를 향상시키기 위해.
• 다양한 실제 데이터 및 벤치마크 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 노드는 시계열 변수를 나타내고, 엣지는 변화하는 상호 시계열 상관관계를 코딩하는 동적 그래프를 구성한다.
• 상호 시계열 간 의존성을 모델링하기 위해 수정된 자기주의 주의 메커니즘이 사용되며, 특징 표현 향상을 위해 초경험적 모드 분해(SMD) 모듈이 통합된다.
• 각 시계열 내의 시간 의존성은 시간이 지남에 따라 변화하는 학습 가능한 노드 표현을 통해 포착된다.
• 모델은 동적 그래프 내 이웃 정보를 기반으로 노드 특징을 업데이트하기 위해 그래프 신경망(GNN) 유사 집합을 사용한다.
• 최종 예측 헤드는 동적 그래프 구조를 따라 업데이트된 노드 표현을 처리하여 예측을 생성한다.
• 전체 프레임워크는 예측 수평선에서 표준 회귀 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 동적 그래프 표현이 다변량 시계열의 내부 및 상호 시계열 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 자기주의 주의와 SMD를 통합함으로써 시계열 예측을 위한 표현 학습이 어떻게 향상되는가?
• RQ3 제안된 TSAT 모델이 다양한 예측 벤치마크 및 실제 데이터셋에서 최신 기술 성능을 달성하는가?
• RQ4 학습된 동적 그래프의 해석 가능성은 의미 있는 시간적 및 다변수 간 관계를 포착하는 데 얼마나 유용한가?

주요 결과

• TSAT는 실제 데이터 및 벤치마크 데이터셋에서 평가된 모든 예측 수평선에서 여섯 개의 최신 기술 기반 모델을 뛰어넘는 성능을 보였다.
• ETTh1 및 ETTh2 데이터셋에서 평균 절대 오차(MAE)와 제곱근 평균 제곱 오차(RMSE)가 가장 낮았으며, 다음으로 우수한 기반 모델 대비 최대 15% 향상된 성능을 기록했다.
• 임bedded된 동적 그래프의 시각화 결과 시간이 지남에 따라 일관되고 의미 있는 구조적 변화가 나타나, 상호 시계열 관계의 효과적인 학습을 시사한다.
• SMD 강화 주의 메커니즘이 비선형성 및 다중 척도 의존성을 더 잘 포착함으로써 성능 향상에 기여한다.
• 절단 실험 결과 동적 그래프 구축 및 SMD 모듈이 모델의 뛰어난 성능을 위해 필수적인 구성 요소임을 확인했다.