[논문 리뷰] Reinforcement Learning of Spatio-Temporal Point Processes.

Shixiang Zhu, Shuang Li외 1명|arXiv (Cornell University)|2019. 06. 13.

Point processes and geometric inequalities참고 문헌 35인용 수 2

한 줄 요약

이 논문은 신경망을 사용해 이질적인 가우시안 확산 커널을 매개변수화함으로써 정확하고 해석 가능한 복잡한 시공간 이벤트 데이터 모델링을 가능하게 하는 신경망 임bedding 시공간(NEST) 포인트 프로세스 모델을 제안한다. 이 방법은 경험적 데이터 분포와 모델에 의해 생성된 분포 간의 발산을 직접 최소화함으로써 강건하고 계산적으로 효율적인 훈련을 위해 암시 학습을 활용하며, 실제 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a novel Neural Embedding Spatio-Temporal (NEST) point process model for spatio-temporal discrete event data and develop an efficient imitation learning (a type of reinforcement learning) based approach for model fitting. Despite the rapid development of one-dimensional temporal point processes for discrete event data, the study of spatial-temporal aspects of such data is relatively scarce. Our model captures complex spatio-temporal dependence between discrete events by carefully design a mixture of heterogeneous Gaussian diffusion kernels, whose parameters are parameterized by neural networks. This is the key that our model can capture intricate spatial dependence patterns and yet still lead to interpretable results as we examine maps of Gaussian diffusion kernel parameters. The imitation learning model fitting for NEST is more robust since it directly measures the divergence between the empirical distributions between the training data and the model-generated data. Moreover, our imitation learning-based approach enjoys computational efficiency due to the explicit characterization of the reward function related to the likelihood function; furthermore, the likelihood function under our model enjoys tractable expression due to Gaussian kernel parameterization. Experiments based on real data show our method's good performance relative to the state-of-the-art and the good interpretability of NEST's result.

연구 동기 및 목표

• 이산 이벤트 데이터에서 복잡한 시공간 의존성을 효과적으로 포착할 수 있는 모델의 부족 문제를 해결한다.
• 공간과 시간에 걸쳐 이질적인 이벤트 패턴을 처리할 수 있는 유연하면서도 해석 가능한 시공간 포인트 프로세스 모델을 개발한다.
• 기존의 우도 기반 방법에 비해 모델 피팅의 강건성과 계산 효율성을 향상시킨다.
• 경험적 데이터와 모델에 의해 생성된 데이터 간의 직접적인 비교를 가능하게 하기 위해, 계산 가능한 우도 표현에 기반한 보상 함수를 제공한다.

제안 방법

• 이질적인 가우시안 확산 커널의 혼합을 사용해 시공간 의존성을 매개변수화하며, 커널 매개변수는 신경망에 의해 제어된다.
• 가우시안 커널 매개변수화를 통해 모델의 우도 함수를 설정함으로써 분석적 해석 가능성과 효율적인 계산을 보장한다.
• 경험적 이벤트 분포(데이터로부터 유도됨)와 모델에 의해 생성된 분포 간의 발산을 최소화함으로써 암시 학습을 적용해 모델을 훈련시킨다.
• 암시 학습 프레임워크 내에서 우도 함수와 명시적으로 연관된 보상 함수를 설계함으로써 훈련의 안정성과 효율성을 향상시킨다.
• 공간적 및 시간적 특징을 임베딩하기 위해 신경망을 사용함으로써, 이벤트 패턴 내 복잡한 비선형 의존성을 학습할 수 있도록 한다.
• 학습된 가우시안 커널 매개변수를 시각화함으로써 공간 맵 상에서 해석 가능성을 확보하며, 이는 잠재적 시공간 구조를 드러낸다.

실험 결과

연구 질문

• RQ1 신경망 기반 포인트 프로세스 모델은 이산 이벤트 데이터의 복잡한 시공간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 최대우도추정에 비해 암시 학습은 시공간 포인트 프로세스 피팅의 강건성과 효율성을 어떻게 향상시키는가?
• RQ3 모델의 내부 매개변수를 얼마나 해석 가능하게 할 수 있으며, 이는 이벤트 데이터 내 의미 있는 공간적 및 시간적 패턴을 드러내는가?
• RQ4 제안된 NEST 모델은 기존 최신 기술 수준의 방법들보다 실제 시공간 이벤트 시퀀스 모델링에서 뛰어난 성능을 보이는가?
• RQ5 가우시안 커널 매개변수화 하에 존재하는 계산 가능한 우도 표현은 효율적이고 확장 가능한 훈련을 지원하는가?

주요 결과

• NEST 모델은 실제 시공간 이벤트 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 방법들에 비해 뛰어난 예측 정확도를 보였다.
• 암시 학습 접근법은 경험적 데이터 분포와 생성된 데이터 분포 간의 발산을 직접 측정함으로써 더 강건한 모델 피팅을 가능하게 하였다.
• 가우시안 커널 매개변수화 덕분에 모델의 우도 함수는 분석적으로 해석 가능하여 효율적인 최적화를 지원하였다.
• 학습된 가우시안 커널 매개변수의 시각화 결과는 해석 가능한 공간 패턴을 드러내었으며, 이는 잠재적 이벤트 역학에 대한 의미 있는 통찰을 제공하였다.
• 우도에 기반한 명시적 보상 함수 덕분에 계산 효율성이 향상되어 훈련 오버헤드가 감소하였다.
• 실증 결과는 모델이 단순한 모델들이 표현하지 못하는 정교한 시공간 의존성을 효과적으로 포착하고 있음을 확인하였다.