[논문 리뷰] DiffSTG: Probabilistic Spatio-Temporal Graph Forecasting with Denoising Diffusion Models

Haomin Wen, Youfang Lin외 5명|arXiv (Cornell University)|2023. 01. 31.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 공간-시간 그래프(STG) 예측을 위한 첫 번째 노이즈 제거 확률적 확산 모델인 DiffSTG를 제안한다. 이 모델은 다중 척도 시간적 및 공간적 의존성을 포착하기 위해 새로운 UGnet 노이즈 제거 네트워크를 통합한다. 비자기적, 불확실성 인식 예측을 가능하게 함으로써 DiffSTG는 세 개의 실세계 데이터셋에서 CRPS를 4%-14% 감소시키고 RMSE를 2%-7% 감소시켜 확률적 예측 정확도와 효율성을 크게 향상시킨다.

ABSTRACT

Spatio-temporal graph neural networks (STGNN) have emerged as the dominant model for spatio-temporal graph (STG) forecasting. Despite their success, they fail to model intrinsic uncertainties within STG data, which cripples their practicality in downstream tasks for decision-making. To this end, this paper focuses on probabilistic STG forecasting, which is challenging due to the difficulty in modeling uncertainties and complex ST dependencies. In this study, we present the first attempt to generalize the popular denoising diffusion probabilistic models to STGs, leading to a novel non-autoregressive framework called DiffSTG, along with the first denoising network UGnet for STG in the framework. Our approach combines the spatio-temporal learning capabilities of STGNNs with the uncertainty measurements of diffusion models. Extensive experiments validate that DiffSTG reduces the Continuous Ranked Probability Score (CRPS) by 4%-14%, and Root Mean Squared Error (RMSE) by 2%-7% over existing methods on three real-world datasets.

연구 동기 및 목표

• 기존의 결정론적 공간-시간 그래프 신경망(STGNN)에서의 불확실성 모델링 부족 문제를 해결함으로써 의사결정이 중요한 응용 분야에서의 실용성을 제고하고자 한다.
• 노이즈 제거 확률적 확산 모델(DDPM)을 공간-시간 그래프로 일반화하여 불확실성 정량화와 함께 확률적 예측을 가능하게 하고자 한다.
• 기존 확산 모델에서의 자기적 생성 방식의 비효율성을 해결하기 위해 장기 예측을 위한 비자기적 예측 프레임워크를 도입하고자 한다.
• 특수 설계된 노이즈 제거 네트워크인 UGnet를 설계하여 GNN를 통해 공간 상관관계와 U-Net 아키텍처를 통해 다중 척도 시간적 의존성을 효과적으로 포착하고자 한다.
• 기존 STG 예측 방법보다 향상된 불확실성 캘리브레이션과 더 빠른 추론을 달성함으로써 뛰어난 예측 성능을 확보하고자 한다.

제안 방법

• DiffSTG는 조건부 노이즈 제거 확산 과정을 사용하여 역사적 관측치를 조건으로 하여 잠재 표현에서 노이즈를 점진적으로 제거함으로써 미래 STG 신호를 생성한다.
• 핵심 노이즈 제거 네트워크인 UGnet는 다중 척도 시간적 특징 학습을 위한 U-Net 아키텍처와 노드 간 공간적 의존성을 모델링하기 위한 그래프 신경망(GNN)을 결합한다.
• 비자기적 추론 전략을 통해 모델은 다중 수준 예측을 동시에 생성할 수 있어 자기적 대안 대비 추론 속도를 크게 향상시킨다.
• 모델은 각 노이즈 수준에서 예측된 신호와 진짜 신호 간의 차이를 최소화하는 노이즈 제거 목적 함수를 사용하여 훈련되며, 스코어 기반 생성 모델링 프레임워크를 활용한다.
• 예측 품질을 손상시키지 않은 채 훈련 및 추론 효율성을 추가로 향상시키기 위해 샘플 가속 전략을 도입한다.
• STGNN을 공간-시간 특징 추출에 통합하고 확산 모델을 불확실성 인식 생성에 활용함으로써 확률적 예측과 校정된 신뢰구간을 제공하는 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 확산 모델을 공간-시간 그래프 예측에 효과적으로 일반화할 수 있는가? 복잡한 의존성과 불확실성을 모델링할 수 있는가?
• RQ2 STG 데이터에서 다중 척도 시간 역학과 공간 상관관계를 동시에 포착할 수 있도록 노이즈 제거 네트워크를 어떻게 설계할 수 있는가?
• RQ3 확산 모델에서 비자기적 생성 방식이 정확도를 희생시키지 않고 장기 예측을 위한 공간-시간 그래프 예측의 추론 효율성을 향상시킬 수 있는가?
• RQ4 결정론적 STGNN에 비해 불확실성 정량화를 통합함으로써 실세계 STG 데이터셋에서 예측 성능이 얼마나 향상되는가?
• RQ5 기본 노이즈 제거 네트워크에 비해 제안된 UGnet 아키텍처는 모델링 정밀도와 불확실성 캘리브레이션 측면에서 어떻게 비교되는가?

주요 결과

• DiffSTG는 세 개의 실세계 데이터셋에서 연속적 랭크 확률 점수(CRPS)를 4%-14% 감소시켜 향상된 불확실성 캘리브레이션을 나타낸다.
• 최신 기술 대비 루트 평균 제곱 오차(RMSE)를 2%-7% 감소시켜 더 높은 예측 정확도를 입증한다.
• DiffSTG의 비자기적 추론은 다중 수준 예측 생성을 훨씬 더 빠르게 구현하여 이전의 확산 모델에서의 순차적 병목 현상을 해결한다.
• UGnet 아키텍처는 U-Net과 GNN 구성 요소를 통해 공간 및 시간적 의존성을 효과적으로 모델링함으로써 표준 노이즈 제거 네트워크를 능가한다.
• 광범위한 아블레이션 연구를 통해 U-Net 시간 모델링 및 GNN 공간 모델링 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• DiffSTG는 AIR-BJ, AIR-GZ, PEMS08 데이터셋에서 새로운 SOTA를 수립하여 확률적 STG 예측의 새로운 기준을 설정한다.