[논문 리뷰] Neural Spatio-Temporal Point Processes

Ricky T. Q. Chen, Brandon Amos외 1명|arXiv (Cornell University)|2020. 11. 09.

Time Series Analysis and Forecasting참고 문헌 63인용 수 5

한 줄 요약

이 논문은 신경미분방정식(Neural ODEs)과 두 가지 새로운 아키텍처—점프(Jump) 및 주목적 연속형 정규화 흐름(Attentive Continuous-time Normalizing Flows)—을 활용하여 정확한 우도 계산이 가능한 고성능의 스페셜 타임스탬프 포인트 프로세스(Neural STPPs)라는 새로운 프레임워크를 제안한다. 이 방법은 이벤트 이력에 조건화된 탄력적이고 연속적인 조건부 분포를 통해 시간과 공간의 복잡한 의존성을 동시에 모델링함으로써 다양한 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new class of parameterizations for spatio-temporal point processes which leverage Neural ODEs as a computational method and enable flexible, high-fidelity models of discrete events that are localized in continuous time and space. Central to our approach is a combination of continuous-time neural networks with two novel neural architectures, i.e., Jump and Attentive Continuous-time Normalizing Flows. This approach allows us to learn complex distributions for both the spatial and temporal domain and to condition non-trivially on the observed event history. We validate our models on data sets from a wide variety of contexts such as seismology, epidemiology, urban mobility, and neuroscience.

연구 동기 및 목표

• 연속 시간과 공간에서 복잡한 의존성을 포괄적으로 포착할 수 있는 탄력적이고 고성능의 스페셜 타임스탬프 포인트 프로세스 모델링 프레임워크를 개발하는 것.
• 기존 STPPs가 근사치, 닫힌 형태의 해, 또는 이산 시간/공간에 의존하는 한계를 극복하기 위해 정확한 우도 계산을 가능하게 하는 것.
• 신경망을 연속시간 정규화 흐름과 이벤트 이력 조건화와 통합하여 공간 및 시간 역학을 표현력 있게, 동시에 계산 가능한 방식으로 모델링하는 것.
• 다양한 과학 분야에서 스페셜 타임스탬프 사건 모델링을 위한 새로운 벤치마크 데이터셋을 구축하는 것.
• 지질학, 전염병학, 도시 이동성, 뇌과학 분야의 실제 데이터에서 뛰어난 성능을 입증하는 것.

제안 방법

• 이 방법은 스페셜 타임스탬프 포인트 프로세스에서 조건부 강도 함수의 연속적 시간 진화를 모델링하기 위해 신경미분방정식을 계산 엔진으로 활용한다.
• 이 프레임워크는 두 가지 새로운 신경 아키텍처를 도입한다: 점프 기반 CNF는 이벤트 이력에 조건화된 비연속적인 점프를 통해 순순간 분포 변화를 모델링하고, 주목적 기반 CNF는 자기주의(self-attention)를 사용해 모든 이전 이벤트에 동적으로 주목한다.
• 이 프레임워크는 연속 정규화 흐름(CNFs)을 사용하여 시간이 지남에 따라 매끄럽게 변화하는 탄력적이고 연속적인 공간 분포를 모델링하며, 이는 이벤트 이력에 조건화된다.
• 변수변환 공식을 통해 공동 로그우도를 정확히 계산함으로써 몬테카를로 근사 없이도 계산 가능한 학습이 가능하다.
• 신경미분방정식 솔버를 통해 역전파를 이용한 엔드 투 엔드 학습이 가능하며, 이는 복잡한 비마르코프 의존성의 기울기 기반 최적화를 허용한다.
• 이 방법은 연속 마크를 지원하며, 이산화 없이도 복잡하고 다중모달인 공간적 사건 전파를 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 신경망과 연속시간 흐름을 활용하여 정확한 우도 계산이 가능한 고성능의 스페셜 타임스탬프 사건 과정을 모델링할 수 있는가?
• RQ2 점프 기반과 주목적 기반 조건화 메커니즘은 이벤트 시퀀스의 이력 의존적 역학을 얼마나 잘 포착하는가?
• RQ3 Neural STPPs는 복잡한 실제 스페셜 타임스탬프 데이터에서 Neural Hawkes Processes와 Neural Jump SDEs 같은 기존 모델을 능가할 수 있는가?
• RQ4 이산적 또는 파라미터 기반 근사와 비교해 연속 공간 분포를 모델링하는 것이 성능 향상에 얼마나 기여하는가?
• RQ5 동일한 아키텍처로 지질학, 전염병학, 뇌과학 등 다양한 분야에서 일반화할 수 있는가?

주요 결과

• 주목적 기반 CNF 모델은 모든 테스트 데이터셋에서 가장 높은 로그우도를 기록했으며, 시간에 따라 변하는 CNF 및 Neural Jump SDE 기준선을 모두 능가했다.
• 코로나19 데이터셋에서 Neural STPPs는 전염병에 대해 강력한 기준선으로 여겨지는 자기자극형 하크스 프로세스보다 공간적 우도에서 뚜렷한 우수성을 보였다.
• 점프 및 주목적 기반 CNF 모델은 시간에 따라 변하는 CNF보다 유의미하게 높은 로그우도를 기록했으며, 이는 이력 의존적 모델링이 성능 향상에 기여함을 시사한다.
• 주목적 기반 CNF는 점프 기반 CNF보다 더 높은 시간적 로그우도를 기록했으며, 이는 과거 모든 이벤트에 주목할 수 있는 능력 덕분으로 보인다. 이는 이력을 은닉 상태로 압축하는 것보다 유리하다.
• 기존 방법과 비교해 공간적 및 시간적 우도 양면에서 통계적으로 유의미한 향상을 달성했으며, 이는 Neural Jump SDEs와 동일한 시간 아키텍처를 사용한 경우에도 마찬가지였다.
• 주목적 기반 CNF는 유사한 성능를 기록했음에도 불구하고, 더 효율적인 주목적 메커니즘 덕분에 점프 기반 CNF보다 빠른 추론 시간을 기록했다.