[논문 리뷰] Inductive Graph Neural Networks for Spatiotemporal Kriging

Yuankai Wu, Dingyi Zhuang외 2명|arXiv (Cornell University)|2020. 06. 13.

Data Visualization and Analytics참고 문헌 32인용 수 17

한 줄 요약

이 논문은 동적 네트워크 구조에서 실시간 시공간 크리깅을 가능하게 하는 새로운 인덕티브 GNN 프레임워크인 인덕티브 그래프 신경망 크리깅(IGNNK)을 제안한다. 이는 랜덤 서브그래프로 훈련하여 공간 메시지 전달을 학습함으로써 실시간 시공간 크리깅을 가능하게 한다. IGNNK는 새로운 그래프에 일반화되며, 다섯 개인 실세계 데이터셋에서 베이스라인을 초월하고, 고정밀도로 가상 센서 생성이 가능하여 이동성과 동적 센서 네트워크에 대한 강건성을 입증한다.

ABSTRACT

Time series forecasting and spatiotemporal kriging are the two most important tasks in spatiotemporal data analysis. Recent research on graph neural networks has made substantial progress in time series forecasting, while little attention has been paid to the kriging problem -- recovering signals for unsampled locations/sensors. Most existing scalable kriging methods (e.g., matrix/tensor completion) are transductive, and thus full retraining is required when we have a new sensor to interpolate. In this paper, we develop an Inductive Graph Neural Network Kriging (IGNNK) model to recover data for unsampled sensors on a network/graph structure. To generalize the effect of distance and reachability, we generate random subgraphs as samples and reconstruct the corresponding adjacency matrix for each sample. By reconstructing all signals on each sample subgraph, IGNNK can effectively learn the spatial message passing mechanism. Empirical results on several real-world spatiotemporal datasets demonstrate the effectiveness of our model. In addition, we also find that the learned model can be successfully transferred to the same type of kriging tasks on an unseen dataset. Our results show that: 1) GNN is an efficient and effective tool for spatial kriging; 2) inductive GNNs can be trained using dynamic adjacency matrices; 3) a trained model can be transferred to new graph structures and 4) IGNNK can be used to generate virtual sensors.

연구 동기 및 목표

• 새로운 센서가 네트워크에 추가될 때 전체 재학습이 필요로 하는 전이적 크리깅 모델의 한계를 해결하기 위해.
• 새로운 노드와 그래프 구조로도 일반화 가능한 공간 메시지 전달을 수행할 수 있는 인덕티브 GNN 프레임워크를 개발하기 위해.
• 모델을 재학습하지 않고도 샘플링되지 않은 또는 가상의 센서에 대해 실시간 크리깅을 가능하게 하기 위해.
• 그래프 구조 데이터를 사용한 시공간 크리깅에서 거리와 도달 가능성의 역할을 탐구하기 위해.
• 유사한 시공간 특성을 지닌 새로운, 알려지지 않은 데이터셋에 대해 훈련된 모델의 이동성을 입증하기 위해.

제안 방법

• 모델은 전체 센서 네트워크의 랜덤으로 샘플된 서브그래프에서 훈련되며, 일부 노드가 마스킹되고 GNN이 그들의 신호를 재구성하도록 훈련된다.
• 각 서브그래프 샘플에 대해, 인접 행렬이 재구성되어 공간적 근접성과 도달 가능성 정보를 유지하며, 고속도도로와 같은 방향성 네트워크의 비대칭 거리까지 포함된다.
• GNN은 다양한 서브그래프 구조에 일반화되는 공간 메시지 전달 메커니즘을 학습하여, 새로운 노드나 그래프에 대한 인덕티브 추론이 가능하게 한다.
• 훈련된 모델은 현재 시간 윈도우의 관측된 센서 데이터만을 사용하여 새로운 또는 알려지지 않은 그래프 구조에서 신호를 재구성함으로써 크리깅을 수행한다.
• 서브그래프 훈련에서 얻은 인덕티브 편향을 활용하여, 재학습 없이도 새로운 센서를 추가할 수 있도록 동적 네트워크를 지원한다.
• 이중 정밀도 및 전밀도 변형의 IGNNK가 평가되었으며, 후자가 더 강한 일반화 및 이동 성능를 보였다.

실험 결과

연구 질문

• RQ1 새로운 센서 구성이 요구되더라도 전체 재학습이 필요로 하지 않는 인덕티브 GNN 프레임워크가 시공간 크리깅을 위한 공간 메시지 전달을 효과적으로 학습할 수 있는가?
• RQ2 한 네트워크에서 훈련된 GNN 모델이 유사한 시공간 패턴을 지닌 다른 알려지지 않은 네트워크의 크리깅 작업에 얼마나 잘 일반화되는가?
• RQ3 인접 행렬에 물리적 거리와 도달 가능성 정보를 통합할 경우 크리깅 정확도에 어떤 영향을 미치는가?
• RQ4 훈련된 모델이 높은 공간 해상도로 관측되지 않은 위치에 신뢰할 수 있는 가상 센서 데이터를 생성할 수 있는가?
• RQ5 센서 추가 또는 제거와 같은 동적 네트워크 조건에서 모델의 성능는 어떠한가?

주요 결과

• IGNNK는 다섯 개인 실세계 시공간 데이터셋 전반에서 최첨단 베이스라인을 일관되게 능가하며, RMSE와 R² 측면에서 최고의 성능를 기록했다.
• METR-LA에서 훈련된 모델은 PeMS-Bay로 효과적으로 일반화되어, PeMS-Bay에서 직접 훈련된 모델를 제외한 모든 베이스라인보다 낮은 크리깅 오차를 기록했다.
• SeData에서 훈련된 모델는 PeMS-Bay로 일반화되지 못했으며, R²가 0 이하였는데, 이는 이동성의 성패가 데이터 유사성과 공간 구조에 의존한다는 것을 시사한다.
• IGNNK는 실제 센서 사이에 부드럽고 현실적인 가상 센서 출력을 성공적으로 생성하여, 공간적 근접성과 신호 추세에 기반한 정확한 보간을 보여주었다.
• 모델는 장거리 의존성을 포착하여, 근접한 이웃 뿐 아니라 먼 센서의 영향까지 반영함으로써, 가상 센서 값이 단지 인접 센서에 의존하지 않음을 입증했다.
• 이 프레임워크는 재학습 없이도 새로운 또는 가상 센서에 대해 실시간 크리깅을 가능하게 하여, 동적 센서 네트워크와 이동 탐사 기반 응용을 지원한다.