[논문 리뷰] Multivariate Time Series Forecasting Based on Causal Inference with Transfer Entropy and Graph Neural Network.

Haoyan Xu, Yida Huang외 3명|arXiv (Cornell University)|2020. 05. 03.

Time Series Analysis and Forecasting참고 문헌 10인용 수 17

한 줄 요약

이 논문은 전이 엔트로피(TE)를 통합하여 다변량 시계열(MTS) 변수 간의 인과 관계를 모델링하고, 예측에 그래프 신경망(GNN)을 사용하는 엔드 투 엔드 딥 러닝 모델인 TEGNN을 제안한다. 인과적 의존성을 표현하기 위해 TE 기반 그래프를 구축하고, 다중 스케일 CNN을 사용해 시간적 특징을 추출함으로써, TEGNN은 세 가지 실세계 MTS 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, a novel end-to-end deep learning model, termed graph neural network with transfer entropy (TEGNN) is proposed in this paper. To characterize the causal information among variables, the transfer entropy (TE) graph is introduced in our model, where each variable is regarded as a graph node and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, graph neural network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed TEGNN and the comprehensive experiments show that the proposed method achieves state-of-the-art results in MTS forecasting task.

연구 동기 및 목표

• 기존의 MTS 예측 방법들이 모든 변수가 상호 영향을 미친다고 가정하는 데서 비롯되는 한계를 해결하기 위해.
• 전이 엔트로피(TE)를 사용해 다변량 시계열 변수 간의 진정한 인과적 의존성을 모델링하고 인과 그래프를 구축하기 위해.
• 시간적 특징과 인과 그래프 구조를 모두 활용해 개선된 예측 정확도를 달성하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 실세계 MTS 데이터셋에서 제안된 방법을 평가하고 기존 최신 기술 수준의 접근 방식들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 변수를 노드로, 한 변수에서 다른 변수로의 인과적 영향을 간선으로 가지는 전이 엔트로피(TE) 기반 그래프를 구축하기 위해.
• 다양한 수신장( receptive fields)을 가진 컨volution 신경망(CNN) 필터를 사용해 각 시계열 변수에서 다중 스케일 시간적 특징을 추출하기 위해.
• 각 노드를 추출된 시간적 특징으로 표현하여 GNN용 노드 특징 행렬을 구성하기 위해.
• TE 기반 그래프 구조를 기반으로 정보를 전파하고 집계하여 예측하기 위해 그래프 신경망(GNN)을 적용하기 위해.
• 미래의 시간 단계에서의 예측 오차를 최소화하기 위해 지도 학습 손실 함수를 사용해 전체 모델을 엔드 투 엔드로 훈련하기 위해.
• 인과 구조(TE를 통한)와 시간 역학(다중 스케일 CNN을 통한)을 통합해 MTS 예측을 위한 유일한 딥 러닝 프레임워크를 구성하기 위해.

실험 결과

연구 질문

• RQ1 모든 변수가 상호 영향을 미친다고 가정하는 방법들과는 달리, 다변량 시계열 변수 간의 인과 관계를 모델링하면 예측 정확도가 향상되는가?
• RQ2 실세계 데이터셋에서 전이 엔트로피는 시간적 시리즈 변수 간의 의미 있는 인과적 의존성을 식별하는 데 얼마나 효과적인가?
• RQ3 TE 기반 그래프 구조를 통합함으로써 그래프 신경망의 MTS 예측 성능은 어느 정도 향상되는가?
• RQ4 제안된 TEGNN 모델은 다양한 실세계 MTS 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 TEGNN 모델은 세 가지 실세계 다변량 시계열 예측 벤치마크에서 최신 기술 수준 성능을 달성한다.
• 전이 엔트로피를 사용해 인과 관계를 모델링함으로써, 인과적 구조를 忽시하는 방법들보다 더 정확한 예측이 가능하다.
• 다중 스케일 CNN 필터의 사용은 시간적 특징 표현을 향상시켜 모델의 일반화 능력 향상에 기여한다.
• GNN은 인과 그래프 구조를 효과적으로 활용해 변수 간에 관련 정보를 전파함으로써 예측 성능을 향상시킨다.