[논문 리뷰] Fully-Connected Spatial-Temporal Graph for Multivariate Time-Series Data

Yu-Cheng Wang, Yuecong Xu외 5명|arXiv (Cornell University)|2023. 09. 11.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 다변량 시계열 데이터를 위한 새로운 그래프 신경망인 FC-STGNN을 제안한다. 이 모델은 서로 다른 센서 간에 서로 다른 타임스탬프에서의 상관관계(일명 DEDT)를 완전히 파악함으로써 공간-시간(ST) 의존성을 효과적으로 모델링한다. DEDT 상관관계를 고려한 가중치가 부여된 완전 연결 그래프와 이동 풀링 그래프 컨볼루션 메커니즘을 도입하여 국소적인 ST 패턴을 효율적으로 학습하며, 여러 벤치마크에서 최신 기술(SOTA)을 능가하면서도 계산 비용을 낮춘다.

ABSTRACT

Multivariate Time-Series (MTS) data is crucial in various application fields. With its sequential and multi-source (multiple sensors) properties, MTS data inherently exhibits Spatial-Temporal (ST) dependencies, involving temporal correlations between timestamps and spatial correlations between sensors in each timestamp. To effectively leverage this information, Graph Neural Network-based methods (GNNs) have been widely adopted. However, existing approaches separately capture spatial dependency and temporal dependency and fail to capture the correlations between Different sEnsors at Different Timestamps (DEDT). Overlooking such correlations hinders the comprehensive modelling of ST dependencies within MTS data, thus restricting existing GNNs from learning effective representations. To address this limitation, we propose a novel method called Fully-Connected Spatial-Temporal Graph Neural Network (FC-STGNN), including two key components namely FC graph construction and FC graph convolution. For graph construction, we design a decay graph to connect sensors across all timestamps based on their temporal distances, enabling us to fully model the ST dependencies by considering the correlations between DEDT. Further, we devise FC graph convolution with a moving-pooling GNN layer to effectively capture the ST dependencies for learning effective representations. Extensive experiments show the effectiveness of FC-STGNN on multiple MTS datasets compared to SOTA methods. The code is available at https://github.com/Frank-Wang-oss/FCSTGNN.

연구 동기 및 목표

• 기존의 GNN 기반 방법들이 다변량 시계열(MTS) 데이터에서 서로 다른 타임스탬프에 있는 서로 다른 센서 간의 상관관계(일명 DEDT)를 모델링하는 데에 한계가 있음을 해결하고자 한다.
• 그래프 구축과 컨볼루션에 DEDT 상관관계를 통합함으로써 종합적인 공간-시간(ST) 의존성을 포괄적으로 포착하는 통합 프레임워크를 개발하고자 한다.
• 효율적인 이동 풀링 그래프 컨볼루션과 가중치가 부여된 연결을 통해 계산 복잡도를 낮추면서도 높은 성능을 유지하고자 한다.
• 실제 MTS 벤치마크, 특히 RUL 예측과 수면 단계 분류에서 모델의 효과성과 효율성을 평가하고자 한다.

제안 방법

• 모든 타임스탬프에 걸쳐 모든 센서를 연결하는 완전 연결(FC) 그래프 구축 방법을 제안하며, 이는 내적 유사도를 기반으로 하되, 시간적 거리에 기반한 감쇠 행렬을 통해 더 가까운 타임스탬프를 우선시한다.
• 시간적 거리에 기반한 감쇠 행렬을 도입하여 파라미터 δ를 통해 시간적으로 가까운 센서 쌍에 더 높은 상관관계 가중치를 할당함으로써 DEDT 의존성의 현실적인 모델링을 보장한다.
• 이동 윈도우 크기 M에 따라 타임스탬프를 기준으로 슬라이딩 윈도우를 적용하는 이동 풀링 GNN 레이어를 설계하여 국소적인 ST 패턴을 포착하면서도 계산 부담을 줄인다.
• 각 이동 윈도우 이후로 시간 풀링을 적용하여 특징을 집계하고 고수준 표현을 생성하며, 병렬로 여러 레이어를 쌓아 특징를 정교화한다.
• 윈도우 크기 M과 스트라이드 s를 통해 수신 필드와 특징 집계를 제어하며, 아블레이션 연구에서 M=2, s=1이 최적임을 확인하였다.
• 각 윈도우 내에서 표준 그래프 컨볼루션 연산을 적용하여 간선 전파를 통해 노드 특징를 업데이트하고, 이후 시간 풀링을 통해 시간에 걸친 특징를 요약한다.

실험 결과

연구 질문

• RQ1 서로 다른 타임스탬프에서 다른 센서 간의 상관관계(일명 DEDT)를 모델링하는 것이 다변량 시계열 데이터의 표현 학습에 상당한 향상을 이끌 수 있는가?
• RQ2 완전 연결 그래프에 감쇠 가중치가 부여된 시간적 연결을 포함시키는 것이 MTS 작업에서 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 이동 풀링 GNN 레이어의 최적 윈도우 크기와 스트라이드는 국소적인 ST 의존성을 손실 없이 포착하면서 과적합을 방지하기 위해 무엇인가?
• RQ4 FLOPs, 모델 크기, 추론 속도 측면에서 FC-STGNN은 최신 기술(SOTA) 방법들과 비교해 성능과 효율성 면에서 어떻게 다른가?

주요 결과

• M=2인 버전이 M=1(즉, DEDT 모델링 없음)보다 우수한 성능을 보이며, C-MAPSS 데이터셋에서 DEDT 상관관계를 포착함으로써 성능 향상이 상당히 이루어짐을 입증한다.
• 윈도우 크기 M이 2를 초과하면 성능이 저하되는데, FD001에서 M=4일 경우 국소적인 시간 패턴을 제대로 포착하지 못하기 때문이다.
• 감쇠율 δ=0.7 또는 δ=0.9일 때 최고의 성능를 기록하며, δ=0.1일 경우 DEDT 상관관계가 과도하게 왜곡되어 성능이 급격히 떨어진다.
• 모든 비교된 SOTA 방법들 중에서 FC-STGNN가 가장 낮은 FLOPs와 훈련 가능한 파라미터 수를 기록하여 높은 효율성을 보였다.
• 모델은 가장 빠른 추론 시간를 기록하여 실시간 구현에 적합하다.
• 훈련 시간은 HierCorr(210초 대비 194초)보다 略로 더 길지만, 이 차이는 추론 속도와 모델 효율성 향상에 비해 미미하며 상쇄된다.