[논문 리뷰] Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca외 1명|arXiv (Cornell University)|2021. 07. 31.

Functional Brain Connectivity Studies인용 수 40

한 줄 요약

GRIN은 다변수 시계열 보간을 위한 그래프 신경망 기반의 양방향 순환 아키텍처로 채널 간의 관계 정보를 활용하여 누락 값을 재구성하며, 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive, tedious, inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIN, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatio-temporal representations through message passing. Empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant real-world benchmarks with mean absolute error improvements often higher than 20%.

연구 동기 및 목표

• 상호 연결된 센서 네트워크에서 관계 정보를 활용하여 누락 값을 보간하도록 동기를 부여합니다.
• 스페이셜-템포럴 의존성을 모델링하기 위해 메시지 전달을 사용하는 그래프 기반 순환 아키텍처(GRIN)를 다변량 시계열 보간에 도입합니다.
• 다양한 실제 벤치마크에서 최첨단 보간 성능을 입증합니다.
• GRIN이 가변 입력 차원 및 분리된 노드를 처리함을 보입니다.
• 공간 디코딩의 중요성과 양방향성의 중요성을 강조하는 애블레이션 연구를 제공합니다.

제안 방법

• 정형 토대 토폴로지를 갖는 그래프의 시퀀스로 다변수 시계열 입력을 모델링합니다.
• 두 단계로 구성된 양방향 GRIN을 개발합니다: 방향별로 공간-시간 인코더와 공간 디코더.
• GRU 게이트를 구현하기 위해 SPATIO-TEMPORAL 인코더 내에 MPNN을 사용합니다.
• 보간을 위한 측정 값과 one-step-ahead 예측을 병합하는 필러 연산자를 적용합니다.
• 이웃 메시지를 통해 집계된 보간 표현을 사용한 두 번째 보간 단계를 도입합니다.
• 전방 및 후방 표현을 MLP를 통해 결합하여 최종 보간치를 생성합니다.

실험 결과

연구 질문

• RQ1 그래프 신경망이 MTSI를 위한 비선형 시공간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 양방향 GRIN이 과거 및 미래 맥락을 활용함으로써 보간을 향상시키는가?
• RQ3 GRIN이 서로 다른 관계 구조를 가진 다양한 실제 데이터셋에서 최첨단 기준선과 어떻게 비교되는가?

주요 결과

• GRIN은 여러 벤치마크에서 최첨단 보간 성능을 달성하며 평균 절대 오차(MAE) 개선이 종종 20% 이상이다.
• 교통 및 스마트 그리드 데이터셋에서 GRIN은 BRITS 및 다른 기준선들보다 크게 앞서며, 교통 데이터셋에서 평균적으로 MAE를 약 29% 감소시킨다.
• 관계 정보가 덜 명시적이거나 고립된 노드에도 GRIN은 효과적이다.
• 애블레이션 연구는 공간 디코더 제거나 양방향성을 제거하면 성능이 저하됨을 보여 주며, 공간 및 양방향 구성의 중요성을 강조한다.