[논문 리뷰] TodyNet: Temporal Dynamic Graph Neural Network for Multivariate Time Series Classification

Huaiyuan Liu, Xianzhang Liu외 5명|arXiv (Cornell University)|2023. 04. 11.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

TodyNet은 다변량 시계열 분류를 위한 새로운 시간 동적 그래프 신경망으로, 가중치 학습이 가능한 시간에 따라 변화하는 그래프 구조와 계층적인 시간 그래프 풀링 메커니즘을 통해 숨겨진 시공간적 종속성을 포착한다. 이는 종합적으로 동적 그래프 구축, 그래프 메시지 전파, 시간 컨볼루션을 엔드 투 엔드 프레임워크에서 함께 학습함으로써 26개의 UEA 기준 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Multivariate time series classification (MTSC) is an important data mining task, which can be effectively solved by popular deep learning technology. Unfortunately, the existing deep learning-based methods neglect the hidden dependencies in different dimensions and also rarely consider the unique dynamic features of time series, which lack sufficient feature extraction capability to obtain satisfactory classification accuracy. To address this problem, we propose a novel temporal dynamic graph neural network (TodyNet) that can extract hidden spatio-temporal dependencies without undefined graph structure. It enables information flow among isolated but implicit interdependent variables and captures the associations between different time slots by dynamic graph mechanism, which further improves the classification performance of the model. Meanwhile, the hierarchical representations of graphs cannot be learned due to the limitation of GNNs. Thus, we also design a temporal graph pooling layer to obtain a global graph-level representation for graph learning with learnable temporal parameters. The dynamic graph, graph information propagation, and temporal convolution are jointly learned in an end-to-end framework. The experiments on 26 UEA benchmark datasets illustrate that the proposed TodyNet outperforms existing deep learning-based methods in the MTSC tasks.

연구 동기 및 목표

• 기존 딥 러닝 모델이 다변량 시계열 내 숨겨진 변수 간 종속성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 기존 GNN에서의 정적 그래프 가정을 극복하기 위해 시간이 지남에 따라 변화하는 동적 그래프 메커니즘을 도입하기 위해.
• 계층적인 그래프 수준의 추상화를 위한 학습 가능한 시간 그래프 풀링 레이어를 설계하여 글로벌 표현 학습을 향상시키기 위해.
• 시간 컨볼루션, 동적 그래프 학습, 그래프 메시지 전파를 함께 최적화하는 엔드 투 엔드 프레임워크를 개발하여 분류 성능을 향상시키기 위해.

제안 방법

• TodyNet은 변수 간 어텐션 기반 유사도 계산을 통해 각 시간 단계마다 동적 그래프를 구축하여 시간에 따라 변화하는 종속성을 적응적으로 모델링한다.
• 학습 가능한 파rameter를 가진 그래프 신경망을 활용해 동적으로 구성된 그래프 내에서 노드(변수) 간 정보를 전파함으로써 시간적 및 공간적 상관관계를 포착한다.
• 노드 표현을 계층적으로 집계하여 글로벌 그래프 수준 표현을 생성하는 새로운 시간 그래프 풀링 레이어를 도입한다.
• 그래프 기반 특징 학습 이전에 국소적인 시간 패턴을 추출하기 위해 시간 컨볼루션 신경망을 통합함으로써 다중 척도 표현 학습을 가능하게 한다.
• 모든 구성 요소—시간 컨볼루션, 동적 그래프 구축, 그래프 전파, 시간 풀링—은 공유 파라미터를 사용해 엔드 투 엔드로 훈련된다.
• 그래프 구조는 사전 정의된 것이 아니라 데이터로부터 동적으로 학습되므로, 변수 간 내재된 관계가 시간에 따라 변화함에 따라 모델이 이를 적응할 수 있다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 변수 간 변화하는 종속성을 포착함으로써 동적 그래프 메커니즘이 다변량 시계열 분류 성능을 향상시킬 수 있는가?
• RQ2 정적 또는 수작업으로 구성된 그래프와 비교할 때, 동적 그래프 구축과 메시지 전파의 엔드 투 엔드 학습이 분류 정확도에 어떤 영향을 미치는가?
• RQ3 시간 그래프 풀링이 다변량 시계열 분류에서 글로벌 표현 학습을 어느 정도 향상시키는가?
• RQ4 시간 컨볼루션을 동적 그래프 학습과 통합하면 단독으로 CNN나 RNN 기반 모델보다 더 나은 특징 추출 성능를 보일 수 있는가?

주요 결과

• TodyNet은 26개의 UEA 기준 데이터셋 중 25개에서 최신 기술 성능을 달성하여 다양한 다변량 시계열 작업에서 뛰어난 분류 정확도를 입증한다.
• 제거 실험 결과 동적 그래프, 그래프 풀링, 그래프 메시지 전파 모두 성능 향상에 기여하며, 특히 동적 그래프가 정확도 향상에 가장 큰 기여를 한다.
• 고립되어 있지만 상호의존적인 변수 간 정보 흐름을 허용함으로써 동적 그래프 메커니즘이 정적 그래프 기반 모델보다 뛰어난 성능을 발휘한다.
• t-SNE 시각화 결과 TodyNet은 분류에 특화된 표현을 학습하며, 같은 클래스에 属하는 샘플들이 임베딩 공간에서 서로 가까이 군집되어 있음을 확인할 수 있다.
• 히트맵 분석 결과 학습된 임베딩은 클래스 간에 상당히 다름을 보이며, 효과적인 클래스 구분 능력을 입증한다.
• 시간 그래프 풀링 레이어는 그래프 수준의 특징을 계층적으로 추상화함으로써 모델 성능을 향상시키고 일반화 능력을 향상시킨다.