[논문 리뷰] Learning to Reconstruct Missing Data from Spatiotemporal Graphs with Sparse Observations

Ivan Marisca, Andrea Cini외 1명|arXiv (Cornell University)|2022. 05. 26.

Functional Brain Connectivity StudiesNeuroscience인용 수 19

한 줄 요약

이 논문은 고도로 희박한 다변량 시계열에서 누락된 데이터를 공간과 시간에 걸쳐 관측된 값들만 전파함으로써 복원하는, 희박한 시공간 주의 메커니즘을 갖춘 새로운 그래프 신경망인 SPIN을 제안한다. 자기회귀 모델과 달리 SPIN은 오류 전파를 피하고, 교통 및 대기질 벤치마크에서 특히 극도로 희박한 상황에서도 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Modeling multivariate time series as temporal signals over a (possibly dynamic) graph is an effective representational framework that allows for developing models for time series analysis. In fact, discrete sequences of graphs can be processed by autoregressive graph neural networks to recursively learn representations at each discrete point in time and space. Spatiotemporal graphs are often highly sparse, with time series characterized by multiple, concurrent, and long sequences of missing data, e.g., due to the unreliable underlying sensor network. In this context, autoregressive models can be brittle and exhibit unstable learning dynamics. The objective of this paper is, then, to tackle the problem of learning effective models to reconstruct, i.e., impute, missing data points by conditioning the reconstruction only on the available observations. In particular, we propose a novel class of attention-based architectures that, given a set of highly sparse discrete observations, learn a representation for points in time and space by exploiting a spatiotemporal propagation architecture aligned with the imputation task. Representations are trained end-to-end to reconstruct observations w.r.t. the corresponding sensor and its neighboring nodes. Compared to the state of the art, our model handles sparse data without propagating prediction errors or requiring a bidirectional model to encode forward and backward time dependencies. Empirical results on representative benchmarks show the effectiveness of the proposed method.

연구 동기 및 목표

• 실제 센서 네트워크에서 흔히 발생하는 고도로 희박하고 비정규적인 관측이 이루어지는 다변량 시계열에서 누락된 데이터를 복원하는 문제를 해결한다.
• 다음 복원 작업에 사용되는 예측된 값에 의존하는 자기회귀 모델에서 발생하는 안정성 문제와 오류 전파 문제를 극복한다.
• 예측된 값에 의존하지 않고 관측된 데이터에만 기반하여 보정을 수행하는 모델을 설계한다. 이는 이중방향 또는 오류가 발생하기 쉬운 자기회귀 예측 체인에 대한 의존도를 줄인다.
• 희박성에 명시적으로 대응하고 그래프 구조를 통해 오직 유효한 관측치만 전파하는 시공간 주의 메커니즘을 도입한다.
• 보정 목적에 맞게 조정된 자가조직화된 전파 과정을 개발하여, 직접적으로 보정을 위한 표현을 학습함으로써 희박한 환경에서의 강건성을 향상시킨다.

제안 방법

• 공간과 시간 양쪽에서 관측된 노드에만 주의를 집중하는 희박한 시공간 주의 메커니즘을 제안하여, 누락된 데이터 포인트에 대한 주의를 피한다.
• 각 노드의 표현이 시간과 공간을 통해 관측된 이웃들로부터만 정보를 집계하는 메시지 전파 방식을 갖춘 그래프 신경망 아키텍처를 설계한다.
• 관측된 데이터 포인트에서의 복원 오차를 최소화하는 손실 함수를 사용하여, 관측된 데이터만으로 모델을 엔드 투 엔드로 훈련시켜 누락된 관측치를 복원한다.
• 특히 대규모 그래프에서 성능을 유지하면서 계산 복잡도를 줄이기 위해 계층적 주의 메커니즘의 변형(SPIN-H)을 도입한다.
• 메시지 전파 과정을 보정 목적에 맞게 조정하여, 각 노드의 표현이 오직 유효한 관측치 포인트들로부터만 영향을 받도록 보장한다.
• 공간적·시간적 근접도와 데이터 가용성에 따라 이웃 노드와 시간 단계의 기여도를 동적으로 가중하는 학습 가능한 주의 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 자기조직화된 시공간 전파 메커니즘이 자기회귀 모델보다 고도로 희박한 환경에서 더 강건하게 누락된 데이터를 복원할 수 있는가?
• RQ2 예측된 값에 의존하지 않고 오직 관측된 데이터에만 기반하여 보정을 수행할 경우, 오류 누적이 감소하고 극도의 희박성 하에서도 일반화 성능이 향상되는가?
• RQ3 제안된 희박한 시공간 주의 메커니즘이 장기간 연속된 누락 시퀀스를 처리할 때 표준 주의 메커니즘과 자기회귀 모델에 비해 어떻게 성능을 발휘하는가?
• RQ4 계층적 주의 메커니즘의 변형(SPIN-H)은 계산 비용을 줄이면서도 성능을 어느 정도 유지하는가?
• RQ5 재학습 없이도 다양한 데이터 분포와 누락 패턴(예: 점단위 고장 대비 블록 단위 고장)에 일반화 가능한가?

주요 결과

• SPIN은 METR-LA, PEMS-BAY, AQI 데이터셋에서 모든 기준과 희박 수준에서 모든 베이스라인(예: GRIN, SAITS, Transformers)을 능가하며, 가장 낮은 MAE를 기록했다.
• 블록 누락 설정에서 15% 고장 확률(약 96–97% 누락 비율) 상황에서 SPIN은 AQI에서 MAE 24.34를 기록했으며, GRIN(29.03)과 SAITS(36.34)를 크게 앞섰다.
• 블록 누락 시나리오에서 5% 고장 확률 조건 하에서 SPIN-H는 METR-LA에서 MAE 2.64를 기록했으며, GRIN(3.05)과 SAITS(4.73)를 능가했다.
• 희박성이 증가함에 따라 SPIN의 성능 저하 속도가 베이스라인보다 뚜렷이 느리며, 극도의 누락 데이터 패tern에 대해 뛰어난 강건성을 보였다.
• SPIN은 점단위와 블록 단위 고장 패턴을 포함한 다양한 누락 데이터 분포에서 강력한 성능 유지를 보이며, 특정 희박 패턴을 초월한 일반화 능력을 입증했다.
• 오직 관측된 데이터만으로 엔드 투 엔드 훈련을 수행함으로써 오류 전파 없이 안정적이고 신뢰할 수 있는 학습 동역학을 확보하여, 희박한 환경에서 더 나은 성능을 발휘한다.