[논문 리뷰] Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca외 1명|arXiv (Cornell University)|2021. 07. 31.

Functional Brain Connectivity Studies참고 문헌 57인용 수 8

한 줄 요약

이 논문은 상호 연결된 센서 간의 비선형 의존성을 모델링하기 위해 공간-시간 메시지 전달을 활용하는 새로운 그래프 신경망 아키텍처인 GRIL을 제안한다. 이는 기존 방법들과 비교해 기준 데이터셋에서 평균 절대 오차를 20퍼센트 이상 감소시켜 최첨단 성능을 달성한다.

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive and time-consuming inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most of state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIL, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatial-temporal representations through message passing. Preliminary empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant benchmarks with mean absolute error improvements often higher than 20%.

연구 동기 및 목표

• 실제 센서 네트워크에서 발생하는 다변량 시계열 데이터의 누락 문제를 해결하기 위해.
• 기존 딥러닝 보정 방법들이 관계 및 구조적 의존성을 모델링하지 못하는 한계를 극복하기 위해.
• 센서 데이터의 비선형 시간적 및 공간적 상관관계를 포착할 수 있는 그래프 신경망 기반 프레임워크를 도입하기 위해.
• 그래프 기반 표현이 다변량 시계열에서 누락된 값을 복원하는 데 효과적인지 평가하기 위해.

제안 방법

• GRIL은 노드를 센서로, 간선을 센서 간 공간적 관계로 표현하는 그래프를 구축한다.
• 모델은 그래프 구조를 따라 시간적 및 공간적 정보를 전파하고 집계하기 위해 메시지 전달 메커니즘을 활용한다.
• 다중 층의 그래프 컨볼루션을 통해 노드 임베딩을 업데이트함으로써 공동의 공간-시간 표현을 학습한다.
• 이웃 노드로부터 온 메시지의 중요도를 가중치로 설정하기 위해 학습 가능한 어텐션 메커니즘을 사용하여, 모델이 관련 있는 의존성에 집중할 수 있는 능력을 향상시킨다.
• 관측된 시계열 세그먼트에서 예측값과 실제값 간의 차이를 최소화하기 위해 복원 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• GRIL은 시간적 동역학과 관계 구조를 동시에 모델링함으로써 불완전한 다변량 시계열 데이터를 처리하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 누락된 데이터가 포함된 다변량 시계열에서 복잡한 공간-시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 재구성 정확도 측면에서 GRIL은 최첨단 보정 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 관계 기반 인덕티브 바이어스는 센서 네트워크 데이터의 보정 성능 향상에 어느 정도 기여하는가?
• RQ4 그래프 구조 표현에서의 메시지 전달은 누락된 데이터 패턴에 대한 일반화 능력을 향상시키는가?

주요 결과

• GRIL은 최첨단 방법들보다 평균 절대 오차(MAE)에서 뚜렷한 향상을 보이며, 기준 데이터셋에서 종종 20퍼센트 이상 감소시킨다.
• 표준 딥러닝 방법들이 활용하지 못하는 비선형 시간적 및 공간적 의존성을 효과적으로 포착한다.
• 센서 네트워크를 그래프로 모델링함으로써, 기존 방법들이 성능을 발휘하지 못하는 영역에서 관계 정보를 활용해 보정 정확도를 향상시킨다.
• 메시지 전달 기반 설계 덕분에 상호 연결된 센서 간에 정보를 전파할 수 있어 누락된 값의 복원 능력이 향상된다.
• 실험 결과는 GRIL이 다양한 다변량 시계열 데이터에 대해 다양한 누락 데이터 패턴에서도 잘 일반화됨을 보여준다.
• 복잡한 실생활 센서 데이터에서 관측되지 않은 데이터를 다룰 때 GRIL 아키텍처는 뛰어난 확장성과 표현 능력을 보인다.