[논문 리뷰] Modeling Complex Spatial Patterns with Temporal Features via Heterogenous Graph Embedding Networks.

Yida Huang, Haoyan Xu외 5명|arXiv (Cornell University)|2020. 08. 19.

Advanced Graph Neural Networks참고 문헌 27인용 수 1

한 줄 요약

이 논문은 다변량 시계열(MTS) 변수 간의 동적 및 정적 관계와 시간에 따른 의존성을 이종 그래프 신경망을 사용하여 종합적으로 모델링하는 새로운 엔드 투 엔드 딥 러닝 모델인 MTHetGNN을 제안한다. 관계 임베딩 모듈과 다중 스케일 CNN을 통합하여 노드 특징 학습을 수행함으로써, MTHetGNN은 세 가지 실세계 MTS 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. Variables in MTS have rich relations among each other and the value of each variable in MTS depends both on its historical values and on other variables. These rich relations can be static and predictable or dynamic and latent. Existing methods do not incorporate these rich relational information into modeling or only model certain relation among MTS variables. To jointly model rich relations among variables and temporal dependencies within the time series, a novel end-to-end deep learning model, termed Multivariate Time Series Forecasting via Heterogenous Graph Neural Networks (MTHetGNN) is proposed in this paper. To characterize rich relations among variables, a relation embedding module is introduced in our model, where each variable is regarded as a graph node and each type of edge represents a specific relationship among variables or one specific dynamic update strategy to model the latent dependency among variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, heterogenous graph neural networks are adopted to handle the complex structural information generated by temporal embedding module and relation embedding module. Three benchmark datasets from the real world are used to evaluate the proposed MTHetGNN and the comprehensive experiments show that MTHetGNN achieves state-of-the-art results in MTS forecasting task.

연구 동기 및 목표

• 기존의 MTS 예측 모델이 변수 간 풍부한 동적 및 정적 관계를 종합적으로 모델링하지 못하는 한계를 해결하기 위해.
• MTS 변수 간의 명시적 및 암묵적 의존성을 통합된 딥 러닝 프레임워크에 통합하기 위해.
• 다양한 유형의 관계 정보를 코딩하는 이종 그래프 구조를 활용하여 예측 정확도를 향상시키기 위해.
• 시간 시리즈 특징 추출을 위해 다중 스케일 CNN 필터를 사용하여 시간 의존성을 효과적으로 모델링하기 위해.
• 관계 모델링과 시간 모델링을 통합한 엔드 투 엔드 프레임워크를 개발하여 우수한 예측 성능을 달성하기 위해.

제안 방법

• MTS의 각 변수는 이종 그래프의 노드로 모델링되며, 서로 다른 종류의 관계 또는 동적 업데이트 전략을 나타내는 고유한 간선 유형이 할당된다.
• 관계 임베딩 모듈은 이러한 다양한 관계 유형의 표현을 학습하여 변수 간의 정적 및 암묵적 의존성을 모두 포착할 수 있도록 한다.
• 각 변수의 시계열에 대해 다중 스케일 CNN 필터를 적용하여 시간적 특징을 추출하고 초기 노드 표현을 생성한다.
• 이종 그래프 신경망(H-GNNs)을 활용하여 그래프 내에서 정보를 집계하고 전파함으로써 시간적 및 관계적 모듈에서 유래한 복잡한 구조적 의존성을 포착한다.
• 모델은 향후 시간 단계에서의 예측 성능을 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 시간적 특징 추출과 관계 그래프 학습의 통합은 변수 간 관계와 시간 역학의 공동 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크 내에서 MTS 변수 간의 동적 및 정적 관계를 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 이종 그래프 신경망이 복잡한 관계적 구조를 포착함으로써 MTS 예측 성능을 얼마나 향상시킬 수 있는가?
• RQ3 다중 스케일 시간 특징 추출 기법은 관계적 맥락에서 개별 시간 시리즈 변수의 표현을 어떻게 향상시킬 수 있는가?
• RQ4 기존 방법과 비교해 복합적인 시간 의존성과 변수 간 관계의 공동 모델링이 예측 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 MTHetGNN 모델은 다양한 실세계 MTS 데이터셋에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• MTHetGNN은 세 가지 실세계 다변량 시계열 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이종 그래프 신경망의 통합은 MTS 변수 간 정적 및 동적 관계의 효과적인 모델링을 가능하게 한다.
• 다중 스케일 CNN 필터의 사용은 시간적 특징 추출을 향상시켜 예측 정확도 향상에 기여한다.
• 관계 임베딩 모듈은 변수 간 다양한 유형의 의존성, 특히 암묵적 및 동적 의존성을 성공적으로 포착한다.
• 실험 결과는 시간적 및 관계적 구조를 공동으로 모델링할 경우 기존 방법에 비해 상당한 성능 향상이 이루어짐을 보여준다.
• 모델의 엔드 투 엔드 훈련 전략은 다양한 MTS 데이터셋에서 잘 일반화되는 표현을 효과적으로 학습한다.