[논문 리뷰] Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs

Ming Jin, Yu Zheng외 4명|arXiv (Cornell University)|2022. 02. 17.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 신경 미분방정식을 사용하여 동적 그래프 학습과 시간 모델링을 통합하는 연속 다변량 시계열 예측 모델인 MTGODE를 제안한다. 연속적인 미분방정식 통합을 통해 잠재적 공간-시간 동역학을 모델링함으로써, 특히 장기간의 시퀀스와 복잡한 의존성에서 이산 GNN 기반 방법보다 더 높은 예측 정확도와 낮은 계산 비용을 달성한다.

ABSTRACT

Multivariate time series forecasting has long received significant attention in real-world applications, such as energy consumption and traffic prediction. While recent methods demonstrate good forecasting abilities, they have three fundamental limitations. (i) Discrete neural architectures: Interlacing individually parameterized spatial and temporal blocks to encode rich underlying patterns leads to discontinuous latent state trajectories and higher forecasting numerical errors. (ii) High complexity: Discrete approaches complicate models with dedicated designs and redundant parameters, leading to higher computational and memory overheads. (iii) Reliance on graph priors: Relying on predefined static graph structures limits their effectiveness and practicability in real-world applications. In this paper, we address all the above limitations by proposing a continuous model to forecast $ extbf{M}$ultivariate $ extbf{T}$ime series with dynamic $ extbf{G}$raph neural $ extbf{O}$rdinary $ extbf{D}$ifferential $ extbf{E}$quations ($ exttt{MTGODE}$). Specifically, we first abstract multivariate time series into dynamic graphs with time-evolving node features and unknown graph structures. Then, we design and solve a neural ODE to complement missing graph topologies and unify both spatial and temporal message passing, allowing deeper graph propagation and fine-grained temporal information aggregation to characterize stable and precise latent spatial-temporal dynamics. Our experiments demonstrate the superiorities of $ exttt{MTGODE}$ from various perspectives on five time series benchmark datasets.

연구 동기 및 목표

• 이산 신경 아키텍처의 한계를 해결함으로써 다변량 시계열 예측에서 잠재 상태 궤적의 비연속성과 높은 수치 오차를 초래하는 문제를 해결한다.
• 기존 모델에서 복잡한 이산 설계와 여분의 파라미터로 인한 계산 및 메모리 오버헤드를 줄인다.
• 실세계의 동적 환경에서의 모델 적응성에 제약을 주는 사전 정의된 정적 그래프 구조에 대한 의존성을 해소한다.
• 동적 그래프 구축과 신경 미분방정식을 통해 공간적 및 시간적 의존성을 동시에 모델링하는 통합된 연속 프레임워크를 개발한다.
• 그래프 구조의 사전 지식 없이도 임의의 다변량 시계열에 대해 효과적이고 효율적인 표현 학습을 가능하게 한다.

제안 방법

• 노드 특징이 시간에 따라 변화하고 그래프 구조가 미리 알려져 있지 않으며 학습되는 동적 그래프로 다변량 시계열을 추상화한다.
• 결함이 있는 그래프 구조를 동시에 학습하고 공간-시간 메시지 전달을 수행할 수 있도록 신경 미분방정식을 설계한다.
• 연속적 그래프 전파(CGP)와 연속적 시간 집약(CTA)을 신경 미분방정식을 통해 통합하여 부드럽고 깊은 잠재 동역학을 모델링한다.
• 노드 특징에서 시간에 따라 변화하는 인접 행렬을 추론할 수 있는 학습 가능한 그래프 구축 모듈을 사용하여 동적 구조 학습을 가능하게 한다.
• 안정적인 기울기 계산을 위해 연속 정규화 흐름과 적응형 스텝 크기 솔버(Dopri5 등)를 사용하여 미분방정식 시스템을 효율적으로 해결한다.
• 이산 계층 스택 방식을 피하고 파라미터 중복을 줄이며, 공간적 및 시간적 모델링을 하나의 연속 프레임워크로 통합한다.

실험 결과

연구 질문

• RQ1 신경 미분방정식 기반의 연속 모델이 이산 아키텍처보다 다변량 시계열 예측에서 더 우수한 성능을 내는가?
• RQ2 정적 그래프 사전 지식에 의존하지 않고 동적 그래프 구조 학습이 얼마나 시계열 예측 성능을 향상시키는가?
• RQ3 공간적 및 시간적 동역학의 연속 통합이 모델의 표현력과 수치 안정성에 어떤 영향을 미치는가?
• RQ4 연속 프레임워크에서 모델 깊이와 통합 시간이 시계열 예측 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 이산 GNN 기반 기준 모델보다 낮은 메모리와 MACs로 더 높은 성능을 달성할 수 있는가?

주요 결과

• MTGODE는 다섯 개인 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, RMSE 측면에서 DCRNN, STGCN, GMAN과 같은 강력한 기준 모델들을 능가한다.
• Metr-La 데이터셋에서 MTGODE는 RMSE 6.04를 기록하여 다음으로 우수한 방법보다 유의미하게 낮은 수준의 예측 정확도를 확보하였다.
• 모델은 하이퍼파rameter 변화에 대해 강건성을 보이며, 중간 수준의 은닉 차원(예: 64–128)과 통합 시간에서 최적의 성능를 기록하였다.
• 특히 모델 깊이가 깊어질수록 이산 변형 및 MTGNN 대비 최대 30%까지 계산 및 메모리 비용을 절감하였다.
• 제거 실험 결과, 연속적 그래프 전파(CGP)와 연속적 시간 집약(CTA) 구성 요소가 모두 필수적임을 확인하였으며, 이들을 이산 방식으로 대체할 경우 성능 급격한 하락이 발생하였다.
• 스텝 크기를 늘여 속도를 높여도 모델은 높은 효율성을 유지하며, 정확도와 추론 속도 모두에서 이산 기준 모델을 능가하였다.