[논문 리뷰] The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process

Hongyuan Mei, Jason Eisner|arXiv (Cornell University)|2016. 12. 29.

Point processes and geometric inequalities참고 문헌 26인용 수 162

한 줄 요약

이 논문은 이벤트 강도를 모델링하기 위해 연속시간 LSTM을 사용하는 신경망 기반 자기조절 다변수 포인트 프로세스인 Neural Hawkes Process를 소개하며, 과거 이벤트의 영향력을 포함한 억제와 비단조적 드리프트를 가능하게 하고 강력한 예측 성능을 보입니다.

ABSTRACT

Many events occur in the world. Some event types are stochastically excited or inhibited---in the sense of having their probabilities elevated or decreased---by patterns in the sequence of previous events. Discovering such patterns can help us predict which type of event will happen next and when. We model streams of discrete events in continuous time, by constructing a neurally self-modulating multivariate point process in which the intensities of multiple event types evolve according to a novel continuous-time LSTM. This generative model allows past events to influence the future in complex and realistic ways, by conditioning future event intensities on the hidden state of a recurrent neural network that has consumed the stream of past events. Our model has desirable qualitative properties. It achieves competitive likelihood and predictive accuracy on real and synthetic datasets, including under missing-data conditions.

연구 동기 및 목표

• Hawkes 프로세스를 넘어서는 표현력 있는 이벤트 스트림 모델의 필요성을 동기화하고, 자극, 억제 및 비가산 효과를 처리할 수 있어야 한다.
• 과거 이벤트가 연속시간 LSTM을 통해 미래 강도를 영향을 주는 신경망으로 제어하는 강도 모델을 개발한다.
• 현실 세계의 이벤트 스트림에서 누락 데이터와 복잡한 의존성을 강력하게 처리할 수 있도록 한다.
• 모델을 적합시키고 이벤트 시퀀스를 생성/예측하기 위한 학습 및 추론 프레임워크를 제공한다.

제안 방법

• 자기조절 강도를 도입해 양의 값일 수도 음의 값일 수도 가능하게 하고, 이를 양성성 함수(positivity function)를 통해 통과시켜 Hawkes 프로세스를 일반화한다.
• 과거의 영향력을 덧셈으로 두지 않고 이벤트 및 시간에 따라 업데이트되는 연속시간 LSTM으로 숨 기억 셀을 업데이트하여 시간에 따라 변하는 강도를 생성한다.
• 이벤트 간에 기억 셀을 목표로 수렴시키는 연속시간 LSTM을 사용하고, 새로운 이벤트로 업데이트를 트리거한다.
• 강도가 음수가 아닌 비음수성을 보장하면서도 관성(inertia)과 억제를 허용하는 소프트플러스 기반의 양성함수 매핑을 채용한다.
• Monte Carlo 기법으로 적분 항을 다루며 최대가능도 학습을 수행하고, 필요시 얽힘(thinning) 알고리즘을 사용해 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 신경망으로 매개변수화된 자기조절 다변수 포인트 프로세스가 이벤트 스트림에서 자극, 억제, 비가산 효과를 포착할 수 있는가?
• RQ2 연속시간 LSTM 기반의 강도 모델이 Hawkes 및 분해 가능한 자기조절 모델에 비해 예측 가능도와 다음 이벤트 예측을 향상시키는가?
• RQ3 모형이 누락 데이터 및 불완전한 관찰의 이벤트 시퀀스를 얼마나 잘 처리하는가?
• RQ4 잠재 숨 상태가 고차원 이벤트 유형(K가 큰 경우)에서 비교적 작은 차원 D로도 모델링하는 데 어떤 이점이 있는가?
• RQ5 다양한 시퀀스 길이와 많은 이벤트 유형을 가진 실제 데이터셋으로 확scale 가능한가?

주요 결과

• Neural Hawkes Process (N-SM-MPP)는 예측 가능도 측면에서 Hawkes 및 분해 가능한 자기조절 모델보다 실제 데이터와 합성 데이터 모두에서 우수한 성능을 보인다.
• 모형은 Hawkes보다 누락 데이터 처리에 강하며, 잘려진 시퀀스에서도 우수한 예측 성능을 유지한다.
• 연속시간 LSTM은 강도의 비단조적이고 맥락 의존적인 drift를 가능하게 하여 억제와 관성 효과를 포함한다.
• 고유 유형 수가 많은 설정에서(큰 K) 잠재 숨 상태 방식이 완전 매개변수화된 쌍별 상호작용보다 파라미터가 적은 상태로 일반화가 더 잘 된다.
• Retweets 및 MemeTrack 데이터셋에 대한 실증 결과는 로그 가능도와 예측 정확도에서 실질적인 개선을 보인다.