[논문 리뷰] Multivariate Time Series Forecasting with Transfer Entropy Graph

Ziheng Duan, Haoyan Xu외 3명|arXiv (Cornell University)|2020. 05. 03.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 전이 엔트로피(TE)를 활용해 인과 그래프를 구축하고, 다중 척도 CNN과 함께 그래프 신경망(GNN)을 사용하여 특징을 추출하는 엔드 투 엔드 딥러닝 모델인 CauGNN을 제안한다. 이 방법은 변수 간 비선형 인과 관계를 명시적으로 모델링함으로써 기존 모델들을 능가하는 최신 기술 수준의 성능을 달성한다. 실세계 기준 데이터셋에서의 성능이 입증되었다.

ABSTRACT

Multivariate time series (MTS) forecasting is an essential problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, we propose a novel end-to-end deep learning model, termed graph neural network with Neural Granger Causality (CauGNN) in this paper. To characterize the causal information among variables, we introduce the Neural Granger Causality graph in our model. Each variable is regarded as a graph node, and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, Graph Neural Network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed CauGNN. The comprehensive experiments show that the proposed method achieves state-of-the-art results in the MTS forecasting task.

연구 동기 및 목표

• 기존의 다변량 시계열 예측 모델들이 모든 변수가 상호 영향을 미친다고 가정함에 있어 인과 관계를 고려하지 않는 한계를 해결하기 위해.
• 전이 엔트로피(TE)를 사전 조건으로 삼아 시간 시계열 변수 간 비선형 인과적 의존성을 통합하기 위해.
• 그래프 구조와 인과 정보를 활용하여 향상된 예측 정확도를 달성하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 제안된 모델의 효과성을 실제 기준 데이터셋에서 검증하기 위해.

제안 방법

• 다변량 시계열 변수 간 비선형 인과 관계를 모델링하기 위해 전이 엔트로피(TE)를 사용해 신경 그레저 인과 그래프를 구축한다.
• 각 시간 시계열 변수를 그래프의 노드로 표현하고, 쌍별 TE 값으로 가중치가 부여된 간선을 통해 인접 행렬을 형성한다.
• 각 노드에서 원시 시계열 데이터로부터 시간적 특징을 추출하기 위해 다중 척도 1차원 합성곱 신경망(CNN) 필터를 적용한다.
• 예측을 위해 인과 그래프를 통해 특징을 집계하고 전파하기 위해 그래프 신경망(GNN)을 사용한다.
• RAE 및 MAE를 포함한 손실 함수를 사용하여 백프로파게이션을 통해 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 변수 선택 모듈에서 정규화 및 그룹 라소를 통합하여 핵심 인과 변수를 식별한다.

실험 결과

연구 질문

• RQ1 전이 엔트로피는 다변량 시계열 변수 간 비선형 인과 관계를 예측에 효과적으로 포착할 수 있는가?
• RQ2 전체 연결성을 가정하는 모델과 비교해, TE 기반 인과 그래프를 통합함으로써 예측 성능가 향상되는가?
• RQ3 다중 척도 CNN은 그래프 기반 예측을 위한 의미 있는 시간적 특징을 추출하는 데 어떤 기여를 하는가?
• RQ4 다양한 데이터셋과 예측 수준에서 하이퍼파rameter 설정에 대해 CauGNN 모델의 안정성은 어느 정도인가?
• RQ5 CNN 또는 인과 그래프 구성 요소를 제거할 경우 성능 저하 정도는 어느 정도인가?

주요 결과

• CauGNN은 세 개의 실세계 기준 데이터셋에서 모든 최신 기술 수준의 기준 모델을 능가하며, RAE, MAE, CORR 지표에서 최고 성능을 기록했다.
• 제거 실험 결과, CNN 구성 요소를 제거한 모델(CauGNN-nCNN)은 성능이 크게 떨어지며, 이는 특징 추출에서 CNN의 중요성을 확인한다.
• GNN 레이어를 GIN 레이어로 교체한 CauGNN-GIN 역시 성능을 유지함으로써, 프레임워크가 다양한 GNN 아키텍처와 호환됨을 시사한다.
• TE 기반 그래프 대신 완전히 연결된(모든 요소가 1인) 인접 행렬을 사용한 CauGNN-nCau는 성능이 열 劣하므로, 인과 사전 지식의 가치를 입증한다.
• GNN 레이어의 은닉 차원 수가 10에서 100까지 변화하더라도 성능이 안정적으로 유지되어, 하이퍼파ram터 변화에 대해 모델이 강건함을 보였다.
• 세 개의 CNN 필터를 사용한 CauGNN은 단일 필터나 원시 입력(CauGNN-RF)보다 유의미하게 뛰어난 성능을 보이며, 다중 수용장치 특징 학습의 이점을 입증했다.