[논문 리뷰] Modeling Combinatorial Evolution in Time Series Prediction.

Wenjie Hu, Yang Yang외 3명|arXiv (Cornell University)|2019. 05. 10.

Time Series Analysis and Forecasting참고 문헌 39인용 수 1

한 줄 요약

이 논문은 시간적 요소 간의 변화하는 관계를 진화적 상태 그래프를 통해 모델링하는 그래프 신경망 프레임워크인 진화적 그래프 순환 네트워크(EGRN)를 제안한다. EGRN은 인자들의 조합적 진화를 포착하여, 여섯 개인 실세계 데이터셋에서 평균적으로 정확도 +5%와 F1 점수 +15% 향상을 달성하며, 예측의 해석 가능성을 높여 논리적 인과 패턴을 드러내는 데 성공한다.

ABSTRACT

Time series modeling aims to capture the intrinsic factors underpinning observed data and its evolution. However, most existing studies ignore the evolutionary relations among these factors, which are what cause the combinatorial evolution of a given time series. In this paper, we propose to represent time-varying relations among intrinsic factors of time series data by means of an evolutionary state graph structure. Accordingly, we propose the Evolutionary Graph Recurrent Networks (EGRN) to learn representations of these factors, along with the given time series, using a graph neural network framework. The learned representations can then be applied to time series classification tasks. From our experiment results, based on six real-world datasets, it can be seen that our approach clearly outperforms ten state-of-the-art baseline methods (e.g. +5% in terms of accuracy, and +15% in terms of F1 on average). In addition, we demonstrate that due to the graph structure's improved interpretability, our method is also able to explain the logical causes of the predicted events.

연구 동기 및 목표

• 기존의 시계열 모델이 내재 요소 간의 변화하는 관계를 忽시하는 한계를 해결하기 위해.
• 시간에 따라 변화하는 상호작용을 체계적인 표현 방식으로 모델링하여 시계열 인자의 동적이고 조합적인 진화를 기록하기 위해.
• 요소 표현과 그들의 변화하는 관계를 동시에 포착할 수 있는 학습 가능한 프레임워크를 개발하여 시계열 분류 성능을 향상시키기 위해.
• 그래프 구조를 통해 예측된 사건의 논리적 원인을 드러내어 모델의 해석 가능성을 향상시키기 위해.

제안 방법

• 시간에 따라 변화하는 내재 요소 간의 관계를 진화적 상태 그래프로 표현하여, 시간 경과에 따른 전이와 상호작용을 인코딩한다.
• 시계열과 그들의 변화하는 요소 관계의 공동 표현을 학습하기 위해 그래프 신경망 기반 아키텍처인 EGRN을 설계한다.
• 시간적 종속성과 동적 요소 진화를 모델링하기 위해 그래프 프레임워크 내부에 순환 메커니즘을 통합한다.
• 메시지 전파 메커니즘을 활용하여 상호연관된 요소 간에 표현을 전파하고 갱신한다.
• 예측 성능 최적화를 위해 지도 학습 기반의 시계열 분류 손실을 사용하여 EGRN을 엔드 투 엔드로 훈련시킨다.
• 그래프 구조를 활용하여 예측의 배경이 되는 인과 패턴을 추출하고 설명함으로써, 모델의 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 하면 시계열 모델이 시간에 따라 변화하는 내재 요소의 조합적 진화를 더 잘 포착할 수 있는가?
• RQ2 요소 간의 변화하는 관계를 모델링할 경우, 시계열 분류 정확도에 어느 정도 향상이 이루어지는가?
• RQ3 그래프 기반 프레임워크는 시계열 내 논리적 인과 관계를 드러내어 더 해석 가능한 예측을 제공할 수 있는가?
• RQ4 EGRN은 다양한 실세계 시계열 데이터셋에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• EGRN는 여섯 개의 실세계 시계열 데이터셋에서 기존의 열 가지 최신 기술 기반 기준 모델 대비 평균적으로 분류 정확도 +5% 향상을 달성한다.
• 동일한 기준 모델 대비 F1 점수 평균 +15% 향상을 기록하여, 불균형하거나 복잡한 예측 과제에서 뛰어난 성능을 입증한다.
• 진화적 상태 그래프 구조는 예측된 사건의 논리적 원인을 드러내어 예측 결과의 의미 있는 해석을 가능하게 한다.
• 모델의 성능 향상은 다양한 데이터셋에서 일관되게 유지되어, 다양한 데이터 특성과 시간 동역학에 대해 강건함을 보여준다.