[논문 리뷰] Temporal Graph Neural Networks for Irregular Data

Joel Oskarsson, Per Sidén외 1명|arXiv (Cornell University)|2023. 02. 16.

Energy Load and Power Forecasting인용 수 7

한 줄 요약

이 논문은 시간 연속 잠재 상태를 갖는 시간적 그래프 신경망인 TGNN4I를 제안한다. 이 모델은 지수 감쇠와 주기적 동역학을 갖는 선형 미분방정식(ODE)에 의해 제어되는 시간 연속 잠재 상태를 사용하여, 비정기적으로 관측되는 그래프 구조의 시계열 데이터를 모델링한다. GNN을 GRU 기반 상태 갱신 및 예측에 통합함으로써, 부분적이고 비정기적인 관측이 있는 상황에서도 임의의 시점에서 정확한 예측을 가능하게 하며, 교통, 기후 및 합성 데이터에서 기존의 기준 모델들을 능가한다.

ABSTRACT

This paper proposes a temporal graph neural network model for forecasting of graph-structured irregularly observed time series. Our TGNN4I model is designed to handle both irregular time steps and partial observations of the graph. This is achieved by introducing a time-continuous latent state in each node, following a linear Ordinary Differential Equation (ODE) defined by the output of a Gated Recurrent Unit (GRU). The ODE has an explicit solution as a combination of exponential decay and periodic dynamics. Observations in the graph neighborhood are taken into account by integrating graph neural network layers in both the GRU state update and predictive model. The time-continuous dynamics additionally enable the model to make predictions at arbitrary time steps. We propose a loss function that leverages this and allows for training the model for forecasting over different time horizons. Experiments on simulated data and real-world data from traffic and climate modeling validate the usefulness of both the graph structure and time-continuous dynamics in settings with irregular observations.

연구 동기 및 목표

• 비정기적인 관측 시간과 부분적인 노드 관측이 있는 그래프 구조의 시계열 데이터를 예측하는 문제에 도전한다.
• 관측 시간 외의 임의의 시점에서도 예측이 가능하도록, 노드 상태의 시간 연속 동역학을 유지하는 방법을 개발한다.
• 결측 데이터와 비동기적 측정을 처리할 수 있는 통합 프레임워크에 그래프 구조와 시간적 동역학을 통합한다.
• 비정기적인 관측 패턴과 다중 수준 예측을 지원하는, 미분 가능한 손실 함수를 설계한다.
• 다양한 수준의 비정규성 존재하는 실세계 및 합성 데이터셋에서 모델의 효과성을 입증한다.

제안 방법

• 노드의 잠재 상태를 지수 감쇠와 선택적 주기적 성분을 포함한 명시적 해를 갖는 시간 연속 선형 ODE로 모델링한다.
• 새로운 관측이 있을 때마다 Gated Recurrent Unit (GRU)을 사용해 잠재 상태를 갱신하며, GNN 레이어를 통해 이웃 정보를 통합한다.
• GNN 레이어를 GRU 상태 갱신과 최종 예측 헤드 양쪽에 통합하여 상호 노드 간 의존성을 포착한다.
• ODE 해를 닫힌 형태의 표현식으로 정의하여, 수치적 ODE 해법기기를 사용하지 않고도 효율적인 학습과 추론을 가능하게 한다.
• 비정기적인 관측 시간을 고려하고 다중 수준 예측을 지원하기 위해 시간 연속성에 기반한 손실 함수를 설계한다.
• 각 시점에서 관측된 노드를 효율적으로 추적하기 위해 이진 마스크를 사용하여 희소한 관측 패턴에서도 확장 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 닫힌 형태의 ODE 동역학을 갖는 시간 연속 잠재 상태가 비정기적으로 샘플링된 그래프 구조의 시계열 데이터에서 예측 성능을 향상시키는가?
• RQ2 GRU 갱신과 예측 헤드 양쪽에 GNN을 통합함으로써, 부분적이고 비정기적인 관측 하에서 상호 노드 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 임의의 시점에서의 예측 능력이 이산 시간 기반 기준 모델 대비 예측 정확도를 얼마나 향상시키는가?
• RQ4 교통 및 기후 데이터와 같은 다양한 도메인에서 비정규성 수준이 다른 상황에서도 모델의 성능은 어떠한가?
• RQ5 모델은 합성 주기적 신호에 일반화되어 있으며, 실세계 시스템에서 흔한 결측 데이터 패턴을 효과적으로 처리할 수 있는가?

주요 결과

• TGNN4I 모델은 실세계 교통 및 기후 데이터셋에서 비정기적인 관측 패턴을 보일 경우 기존 기준 모델들보다 뛰어난 예측 성능을 기록한다.
• 그래프 구조와 시간 연속 동역학의 통합이 특히 부분적이고 비동기적인 관측 상황에서 예측 정확도를 크게 향상시킨다.
• 시간 연속 공식에 기반하여 모델은 표준 이산 시간 RNN 또는 GNN 접근 방식에서는 불가능한 임의의 시점에서 정확한 예측을 가능하게 한다.
• 합성 데이터에 대한 실험을 통해 모델이 주기적 동역학을 효과적으로 포착하고, 최소한의 성능 저하로 결측 관측을 처리함을 확인하였다.
• 닫힌 형태의 ODE 해법은 LG-ODE와 같이 수치적 ODE 해법기를 사용하는 모델들보다 빠른 학습을 가능하게 하며, 경쟁적인 성능 유지를 한다.
• 모델의 아키텍처는 연속 잠재 상태 표현 덕분에 후속 작업, 예를 들어 결측치 보정 및 시퀀스 분할 등에도 적합하다.