[논문 리뷰] Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging

Yuankai Wu, Dingyi Zhuang외 3명|arXiv (Cornell University)|2021. 09. 24.

Data Management and Algorithms참고 문헌 37인용 수 15

한 줄 요약

이 논문은 실시간 시공간 크리깅을 위한 새로운 그래프 신경망 프레임워크인 SATCN을 제안한다. 이는 공간 집계 네트워크와 시간 순환 네트워크를 결합한 것으로, 관측되지 않은 노드를 제외하기 위한 마스킹 전략과 다양한 공간적 종속성을 포착하기 위한 다중 집계 함수를 사용함으로써, 다양한 데이터셋에서 뛰어난 보간 정확도를 달성한다. 기존의 전통적 및 GNN 기반 크리깅 모델을 능가하면서도, 누락된 데이터에 대해 강건하고, 새로운 그래프 구조로의 일반화 능력도 확보한다.

ABSTRACT

Spatiotemporal kriging is an important application in spatiotemporal data analysis, aiming to recover/interpolate signals for unsampled/unobserved locations based on observed signals. The principle challenge for spatiotemporal kriging is how to effectively model and leverage the spatiotemporal dependencies within the data. Recently, graph neural networks (GNNs) have shown great promise for spatiotemporal kriging tasks. However, standard GNNs often require a carefully designed adjacency matrix and specific aggregation functions, which are inflexible for general applications/problems. To address this issue, we present SATCN -- Spatial Aggregation and Temporal Convolution Networks -- a universal and flexible framework to perform spatiotemporal kriging for various spatiotemporal datasets without the need for model specification. Specifically, we propose a novel spatial aggregation network (SAN) inspired by Principal Neighborhood Aggregation, which uses multiple aggregation functions to help one node gather diverse information from its neighbors. To exclude information from unsampled nodes, a masking strategy that prevents the unsampled sensors from sending messages to their neighborhood is introduced to SAN. We capture temporal dependencies by the temporal convolutional networks, which allows our model to cope with data of diverse sizes. To make SATCN generalizable to unseen nodes and even unseen graph structures, we employ an inductive strategy to train SATCN. We conduct extensive experiments on three real-world spatiotemporal datasets, including traffic speed and climate recordings. Our results demonstrate the superiority of SATCN over traditional and GNN-based kriging models.

연구 동기 및 목표

• 고정된 인접 행렬에 의존하고 새로운 공간적 구조로의 일반화 능력이 부족한 기존의 시공간 크리깅 모델의 한계를 해결하기 위해.
• 새로운 그래프에 대해 모델 재학습이 필요 없이, 샘플링되지 않은 위치에서 정확한 신호 보간을 수행할 수 있는 유연하고 인덕티브 프레임워크를 개발하기 위해.
• 다중 집계 함수와 시간 순환 신경망을 조합하여 복잡한 시공간 종속성을 개선하기 위해.
• 특히 최대 50%의 관측 누락이 발생하는 상황에서도 강건성을 향상시키기 위해.
• 이동하는 센서나 커뮤니티 기반 데이터 시스템과 같은 시간에 따라 변화하는 센서 네트워크로의 일반화를 가능하게 하기 위해.

제안 방법

• 주된 이웃 집계 기반의 공간 집계 네트워크(SAN)를 제안하며, 다양한 이웃 정보를 포착하기 위해 다중 집계 함수(평균, 표준편차, 정규화된 평균)를 사용한다.
• 관측되지 않은(샘플링되지 않은) 노드에서의 메시지 전파를 차단하기 위해 마스킹 전략을 도입하여 잘못된 정보의 전파를 방지한다.
• 학습 가능한 커널을 가진 시간 순환 신경망(TCN)을 사용하여 시간 종속성을 모델링하고, 가변 길이의 시간 윈도우를 처리한다.
• 새로운 그래프 구조로의 일반화를 향상시키기 위해, 합성 그래프 마스킹(알고리즘 1을 통해)을 사용한 인덕티브 학습 전략을 적용한다.
• SAN과 TCN을 스택형 아키텍처(SATCN 블록)로 조합하며, 성능과 과적합 방지를 위해 깊이와 너비에 대한 하이퍼파rameter를 조정한다.
• 표현력 향상을 위해 스케일러(로그arithmic, 역로그)를 사용한 멀티헤드 집계기법을 도입하면서도, 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 정의된 인접 행렬이 없고, 광범위한 하이퍼파rameter 튜닝이 필요 없는 GNN 기반 프레임워크가 뛰어난 크리깅 성능을 달성할 수 있는가?
• RQ2 관측되지 않은 노드에 마스킹을 적용할 경우, 시공간 크리깅 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 다중 집계 함수와 스케일러는 복잡한 공간 종속성을 포착하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 SATCN 아키텍처의 깊이와 너비가 실생활 시공간 데이터셋에서 성능과 수렴에 어떤 영향을 미치는가?
• RQ5 모델은 새로운 그래프 구조로 일반화될 수 있으며, 높은 누락 데이터 비율에서도 높은 정확도를 유지할 수 있는가?

주요 결과

• SATCN는 교통 속도 및 글로벌 기온 기록을 포함한 세 가지 실생활 데이터셋에서 기존의 전통적 크리깅 및 GNN 기반 기준 모델을 모두 능가한다.
• 모든 집계기법(평균, 정규화된 평균, 표준편차, 로그 스케일러)을 사용한 모델가 가장 낮은 MAE를 기록하여, 다면적 이웃 표현의 중요성을 입증한다.
• 평균 집계기법이 없는 모델(WME)가 가장 열악한 성능을 보이며, 이는 평균 기반 집계가 크리깅에 있어 가장 핵심적인 공간 정보를 포착한다는 것을 시사한다.
• 32개의 히든 유닛을 가진 두 블록 SATCN 아키텍처가 최적의 성능을 달성한다; 더 깊은 모델(세 블록)은 관련 없는 먼 거리의 정보를 포함하여 성능이 저하된다.
• 64 및 128개의 히든 유닛을 가진 모델는 더 작은 너비 대비 테스트 MAE의 분산이 낮지만, 32개 유닛을 초과해도 정확도 향상이 유의미하지 않다.
• 10~30개의 시뮬레이션된 누락 위치(nm)로 학습할 경우 일반화 능력 향상이 이루어지며, 매우 높은 nm 값(예: 70)은 그래프 희소성과 불안정성으로 인해 성능 저하를 초래한다.