[논문 리뷰] Neural Point Process for Learning Spatiotemporal Event Dynamics

Zihao Zhou, Xingyi Yang외 3명|arXiv (Cornell University)|2021. 12. 12.

Point processes and geometric inequalities인용 수 7

한 줄 요약

이 논문은 이벤트 강도를 신경망 출력으로 모델링하여 다음 이벤트의 시간과 위치를 엔드 투 엔드로 예측할 수 있는 신경 포인트 프로세스(Neural Point Process, NPP) 모델을 제안한다. 주요 기여는 예측 강도 함수를 통해 시간적 및 공간적 이벤트 예측을 통합하는 미분 가능한 프레임워크를 제공함으로써, 이벤트 시간과 위치 분포에 대한 폐쇄형 기대값을 통해 정확한 동시 다중 시공간 예측을 달성하는 것이다.

ABSTRACT

Learning the dynamics of spatiotemporal events is a fundamental problem. Neural point processes enhance the expressivity of point process models with deep neural networks. However, most existing methods only consider temporal dynamics without spatial modeling. We propose Deep Spatiotemporal Point Process (\ours{}), a deep dynamics model that integrates spatiotemporal point processes. Our method is flexible, efficient, and can accurately forecast irregularly sampled events over space and time. The key construction of our approach is the nonparametric space-time intensity function, governed by a latent process. The intensity function enjoys closed form integration for the density. The latent process captures the uncertainty of the event sequence. We use amortized variational inference to infer the latent process with deep networks. Using synthetic datasets, we validate our model can accurately learn the true intensity function. On real-world benchmark datasets, our model demonstrates superior performance over state-of-the-art baselines. Our code and data can be found at the https://github.com/Rose-STL-Lab/DeepSTPP.

연구 동기 및 목표

• 과거 이력과 공간적 맥락에 따라 영향을 받는 복잡한 시공간 이벤트 역학을 모델링하기 위해.
• 연속적이고 미분 가능한 방식으로 다음 이벤트의 시간과 위치를 동시에 예측하는 도전 과제를 해결하기 위해.
• 연속적인 시간과 공간에서 비마르코프성 및 이력 의존적인 이벤트 패턴을 포괄하는 신경망 기반 강도 함수를 개발하기 위해.
• 스케일링 가능하고 유연한 시공간 예측을 위해 신경망을 사용하여 포인트 프로세스 모델을 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 기대되는 다음 이벤트 시간과 위치에 대한 폐쇄형 표현식을 유도하여 효율적인 추론과 훈련을 가능하게 하기 위해.

제안 방법

• 모델은 연속적인 시간 및 공간에서 이벤트 발생 빈도를 모델링하기 위해 학습된 가중치로 파arameter화된 신경망 출력인 강도 함수 λ*(t, s)를 정의한다.
• 다음 이벤트 시간의 예측 분포는 생존 함수를 사용하여 유도되며, 기대 시간은 시간에 대한 t와 위험률의 곱을 적분하여 계산된다.
• 다음 이벤트의 기대 위치는 예측 강도 함수 f*(s, t)에 의해 가중된 공간 영역에 대한 적분을 통해 계산된다.
• 모델은 누적 강도 함수 ∫λ*(τ)dτ를 사용하여 생존 확률을 계산하여 기대 이벤트 시간의 정확한 계산을 가능하게 한다.
• 예상 시간과 위치를 지수 함수 형태의 음의 누적 강도를 포함하는 적분 형태로 표현함으로써, 시간과 공간을 거쳐 역전파가 가능한 프레임워크를 제공한다.
• 시간 강도와 공간 밀도를 통합하여 단일 예측 분포로 조합함으로써 시간과 위치의 동시 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망을 사용하여 포인트 프로세스의 강도 함수를 모델링하여 복잡하고 이력 의존적인 시공간 이벤트 역학을 포착할 수 있는가?
• RQ2 신경 강도 모델 하에서 다음 이벤트의 기대 시간과 위치를 폐쇄형으로 어떻게 계산할 수 있는가?
• RQ3 미분 가능한 포인트 프로세스 모델이 기존 방법에 비해 시공간 이벤트 시퀀스의 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 확률적 프레임워크를 통해 일관된 불확실성 정량화를 수행하면서 시간과 위치를 동시에 예측할 수 있는가?
• RQ5 신경 강도 함수는 연속적인 시간과 공간에서 비푸아송성 및 비마르코프성 이벤트 패턴을 얼마나 민첩하게 모델링할 수 있는가?

주요 결과

• 다음 이벤트의 기대 시간은 시간에 대한 t와 위험률 및 생존 확률의 곱을 적분하여 계산되며, 정확한 해석적 추론이 가능하다.
• 다음 이벤트의 예측 위치는 공간 영역에 대해 예측 강도 함수 f*(s, t)를 적분하여 공간 기대값을 도출함으로써 확보된다.
• 누적 강도 함수를 기반으로 예측 분포를 표현함으로써, 시간과 공간을 거쳐 역전파가 가능한 미분 가능한 추론을 달성한다.
• 기대 시간과 위치의 적분 형태에 체인 룰을 적용하여 역전파를 통해 기울기를 계산함으로써, 엔드 투 엔드 훈련을 지원한다.
• 기존 포인트 프로세스를 일반화하는 통합적이고 미분 가능한 동시 다중 시공간 예측 메커니즘을 제공한다.
• 강도 함수를 신경망으로 파arameter화함으로써, 파rametric 가정을 초월한 비선형적 의존성을 포괄하는 복잡한 이벤트 역학을 포착할 수 있다.