[논문 리뷰] Instance-wise Graph-based Framework for Multivariate Time Series Forecasting

Wentao Xu, Weiqing Liu외 3명|arXiv (Cornell University)|2021. 09. 14.

Time Series Analysis and Forecasting참고 문헌 24인용 수 5

한 줄 요약

이 논문은 교통, 전기, 환율 데이터셋에서 기존 방법보다 우수한 성능을 달성하기 위해 시간에 따라 변화하는 인스턴스 그래프를 구성함으로써 서로 다른 변수의 이전 시계열과 현재 목표 시계열 간의 상호의존성을 포착하는 인스턴스 기반 그래프 기반 프레임워크(IGMTF)를 제안한다. 이는 유사한 이전 인스턴스를 샘플링하고 그래프 신경망을 통해 그 특징을 집계함으로써 실현된다.

ABSTRACT

The multivariate time series forecasting has attracted more and more attention because of its vital role in different fields in the real world, such as finance, traffic, and weather. In recent years, many research efforts have been proposed for forecasting multivariate time series. Although some previous work considers the interdependencies among different variables in the same timestamp, existing work overlooks the inter-connections between different variables at different time stamps. In this paper, we propose a simple yet efficient instance-wise graph-based framework to utilize the inter-dependencies of different variables at different time stamps for multivariate time series forecasting. The key idea of our framework is aggregating information from the historical time series of different variables to the current time series that we need to forecast. We conduct experiments on the Traffic, Electricity, and Exchange-Rate multivariate time series datasets. The results show that our proposed model outperforms the state-of-the-art baseline methods.

연구 동기 및 목표

• 기존 방법이 서로 다른 타임스탬프에서 다른 변수 간의 상호의존성을 간과하는 한계를 해결하기 위해.
• 다른 변수의 유사한 과거 시계열 패턴을 활용하여 다변량 시계열 예측 성능을 향상시키기 위해.
• 예측을 위해 동적으로 관련된 이전 인스턴스를 샘플링하고 집계하는 단순하면서도 효과적인 프레임워크를 설계하기 위해.
• 제거 실험과 분석을 통해 구성 요소 모듈 및 하이퍼파라미터의 효과를 검증하기 위해.

제안 방법

• 프레임워크는 특정 타임스탬프에서 변수의 관측된 값을 나타내는 '시리즈 인스턴스' 개념을 도입한다.
• 학습 인스턴스 및 미니배치 인스턴스 인코더를 사용하여 이전 및 현재 시계열 데이터를 임bedding한다.
• 학습 인스턴스 샘플러는 현재 미니배치 인스턴스와 유사도 기반으로 가장 관련성이 높은 이전 인스턴스를 선택한다.
• 노드로 샘플된 학습 인스턴스와 현재 미니배치 인스턴스를 가지며, 간선은 유사도 기반 연결을 나타내는 인스턴스 그래프를 구성한다.
• 학습 가능한 매핑 행렬 $W_h$ 및 $W_e$를 통한 그래프 집계는 이전 인스턴스에서 현재 인스턴스로 정보를 전파한다.
• 최종 예측은 집계된 이전 정보와 현재 인스턴스 특징을 조합하여 생성된다.

실험 결과

연구 질문

• RQ1 서로 다른 타임스탬프에서 다른 변수 간의 상호의존성을 모델링하면 다변량 시계열 예측 성능이 향상되는가?
• RQ2 동적 인스턴스 기반 그래프 구축 방식이 타임스탬프 간 상호의존성을 효과적으로 포착하는가?
• RQ3 학습 인스턴스 샘플러와 그래프 집계 구성 요소가 예측 성능에 미치는 영향은 무엇인가?
• RQ4 하이퍼파라미터 $k$ (가장 가까운 타임스탬프 수)와 $N$ (이웃 수)는 모델 성능에 얼마나 민감한가?

주요 결과

• IGMTF는 교통, 전기, 환율 데이터셋에서 최신 기술을 초월하는 성능을 보이며, 더 높은 정확도를 입증한다.
• 제거 실험 결과, 학습 인스턴스 샘플러 또는 매핑 행렬 $W_h$ 및 $W_{e}$를 제거할 경우 성능이 크게 떨어지며, 이는 이들의 필수성을 확인한다.
• 교통 데이터셋에서는 예측 수준 6일 때 최적의 $k$ 값이 30이며, 전기 데이터셋에서는 예측 수준 3일 때 $k=5$가 가장 우수한 성능을 보였다.
• 이웃 수 $N$은 성능에 강한 영향을 미치며, 최적의 값은 데이터셋과 예측 수준에 따라 달라지며, 예를 들어 예측 수준 6일 때 교통 데이터셋에서는 $N=30$이 최적임을 확인하였다.
• $k$와 $N$의 하이퍼파라미터 튜닝이 필수적임을 확인하였으며, 둘 다 민감하고 RRSE 및 CORR 지표에 크게 영향을 미친다.
• 실증 분석을 통해 프레임워크가 시계열 간 주기적 및 환경적 유사성을 효과적으로 포착하여 예측의 강건성을 향상시킴을 확인하였다.