[논문 리뷰] Neural Jump Stochastic Differential Equations

Junteng Jia, Austin R. Benson|arXiv (Cornell University)|2019. 05. 24.

Model Reduction and Neural Networks참고 문헌 48인용 수 76

한 줄 요약

신경 Jump 확률적 미분방정식(JSDE)은 하이브리드 시스템에서 연속 잠재 동역학과 급격한 이벤트 주도 점프를 모두 학습하여 시간적 포인트 프로세스의 연속 흐름과 이산 이벤트를 모델링할 수 있게 한다. 이 접근법은 Neural ODE를 확률적 점프와 결합하여 확장하고 다양한 실제 데이터에 적용된다.

ABSTRACT

Many time series are effectively generated by a combination of deterministic continuous flows along with discrete jumps sparked by stochastic events. However, we usually do not have the equation of motion describing the flows, or how they are affected by jumps. To this end, we introduce Neural Jump Stochastic Differential Equations that provide a data-driven approach to learn continuous and discrete dynamic behavior, i.e., hybrid systems that both flow and jump. Our approach extends the framework of Neural Ordinary Differential Equations with a stochastic process term that models discrete events. We then model temporal point processes with a piecewise-continuous latent trajectory, where the discontinuities are caused by stochastic events whose conditional intensity depends on the latent state. We demonstrate the predictive capabilities of our model on a range of synthetic and real-world marked point process datasets, including classical point processes (such as Hawkes processes), awards on Stack Overflow, medical records, and earthquake monitoring.

연구 동기 및 목표

• 연속적으로 진화하지만 확률적 이벤트로 인해 중단되는 시스템에 대한 동기 부여 및 모델링.
• 데이터 기반 프레임워크를 제안하여 연속 잠재 동역학과 점프 이벤트를 신경망으로 함께 학습.
• 이 모델을 고전적 포인트 프로세스와 이산 및 실수값 이벤트 특징이 있는 실제 데이터 세트에서 시연.

제안 방법

• 잠재 상태 z(t)를 Neural ODE 다이나믹스 f(z(t), t; θ)로 연속적으로 흐르게 REPRESENT
• 시점 도착을 지배하는 강도 λ(z(t))와 이벤트에서 잠재 상태를 업데이트하는 점프 함수 w(z(t), k(t), t; θ)를 도입.
• 이벤트 유형을 p(k|z(t))로 모델(확률을 통한 이산 유형 또는 Gaussian 혼합으로 실수값 특징).
• 로그 강도 항과 시간에 대한 λ(z(t)) 적분을 포함하는 우도 목표로 학습하며 비연속성에 맞춘 어댑트 방법을 사용.
• f, w, λ, p를 신경망으로 매개하고 c(t) 내적 상태와 h(t) 이벤트 기억으로 잠재를 구성.
• 이벤트 시간에서의 점프를 도출된 점프 조건으로 어드좀트 방정식에 반영하여 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Neural JSDE가 고전적 포인트 프로세스(Poisson, Hawkes(지수, 거듭제곱-커널), 자기 보정) 조건부 강도 함수 회복을 정확히 수행할 수 있는가?
• RQ2 소셜 및 의학 데이터에서 이산 이벤트 유형 예측 성능이 최첨단 모델과 비교해 얼마나 우수한가?
• RQ3 실수값 이벤트 특징(예: 지진 위치)을 다루고 이벤트 속성에 대한 예측 분포를 제공할 수 있는가?

주요 결과

Poisson	Hawkes (E)	Hawkes (PL)	Self-Correcting
Poisson	0.1	188.2	95.6	29.1
Hawkes (E)	0.3	3.5	155.4	29.1
Hawkes (PL)	0.1	128.5	9.8	29.1
Self-Correcting	98.7	101.0	87.1	1.6
RNN	3.2	22.0	20.1	24.3
Neural JSDE	1.3	5.9	17.1	9.3

• Neural JSDE는 Poisson, Hawkes(지수), Hawkes(PL), Self-Correcting에서 학습된 강도에 대한 평균 절대 백분율 오차에서 RNN 기반 baselines 및 전통적 포인트 프로세스 모델보다 우수한 성능을 보인다.
• Stack Overflow 및 MIMIC2 데이터세트에서 Neural JSDE는 베이스라인과 비교해 이산 이벤트 유형 예측 정확도에서 경쟁력 있거나 우수하다.
• 합성 실수값 특징 데이터(예: 이벤트 간 간격) 및 지진 위치 데이터의 경우 Neural JSDE는 이벤트 특징을 정확히 예측하고 확률적 임베딩을 출력한다.
• 모델은 연속 흐름과 이벤트 주도 점프가 교차하는 해석 가능한 잠재 동역학을 보여주며 이산 및 실수값 이벤트 정보를 모두 갖는 표시된 포인트 프로세스도 모델링할 수 있다.