[논문 리뷰] Fully Neural Network based Model for General Temporal Point Processes

Takahiro Omi, Naonori Ueda외 1명|arXiv (Cornell University)|2019. 05. 23.

3D Shape Modeling and Analysis참고 문헌 20인용 수 50

한 줄 요약

이 논문은 누적 위험 함수(cumulative hazard function)를 표현하는 완전한 신경망 기반 모델을 제안하여 시간적 점 프로세스를 유연하게 모델링하고, 정확한 로그 가능도 평가와 합리적인 예측 성능을 합성 데이터 및 실제 데이터에서 가능하게 한다.

ABSTRACT

A temporal point process is a mathematical model for a time series of discrete events, which covers various applications. Recently, recurrent neural network (RNN) based models have been developed for point processes and have been found effective. RNN based models usually assume a specific functional form for the time course of the intensity function of a point process (e.g., exponentially decreasing or increasing with the time since the most recent event). However, such an assumption can restrict the expressive power of the model. We herein propose a novel RNN based model in which the time course of the intensity function is represented in a general manner. In our approach, we first model the integral of the intensity function using a feedforward neural network and then obtain the intensity function as its derivative. This approach enables us to both obtain a flexible model of the intensity function and exactly evaluate the log-likelihood function, which contains the integral of the intensity function, without any numerical approximations. Our model achieves competitive or superior performances compared to the previous state-of-the-art methods for both synthetic and real datasets.

연구 동기 및 목표

• 고정된 함수 형태 없이 조건 강도의 시간 경과를 유연하게 모델링하려는 동기를 제시한다.
• 정확한 로그 가능도 평가를 가능하게 하는 신경망 기반 누적 위험 함수 제안.
• 유연한 위험도 형성을 위한 RNN 히스토리 인코더를 누적 위험 네트워크와 통합한다.
• 표준 모델과 비교하여 합성 및 실제 시간 이벤트 데이터 세트에서 성능을 평가한다.

제안 방법

• Φ(τ|h_i)를 순전파 신경망으로 모델링하여 단조성과 양수성을 보장한다.
• Φ를 τ에 대해 미분하여 위험도 φ(τ|h_i)를 얻는다.
• 로그 가능도를 Φ로 표현하여 수치적 적분 근사를 피한다 (log L = sum log ∂τΦ - Φ).
• 이벤트 히스토리를 은닉 상태 h_i로 인코딩하기 위해 RNN을 사용하고 경과 시간 τ와 h_i를 누적 위험 네트워크에 입력한다.
• Φ를 단조 증가시키도록 네트워크 가중치를 양수로 제약하고 자동 미분이 ∂Z_i(τ)/∂τ를 계산하도록 한다.
• 긴 히스토리를 관리하기 위해 잘라내기 깊이 d를 사용한 시간 역전파(backpropagation through time)로 학습한다.
• 중간값에서 Φ(τ) = log 2 이 관계를 이용한 다음 이벤트 시간의 효율적인 중앙값 기반 예측기를 제공한다.

실험 결과

연구 질문

• RQ1 특정 함수 형태를 가정하지 않고 누적 위험 함수의 완전한 신경망 기반 표현이 위험의 시간 경과를 유연하게 모델링할 수 있는가?
• RQ2 신경망으로 누적 위험을 모델링하여 일반적인 위험 모델에 대해 정확히 로그 가능도를 평가하는 것이 가능한가?
• RQ3 합성 및 실제 시간 점 프로세스 데이터에서 상수, 지수, 구간별(피스와이스) 위험 모델과 비교해 신경망 기반 위험 모델의 성능은 어떠한가?
• RQ4 제안된 모델이 다양한 데이터 생성 프로세스와 실제 데이터 세트에서 예측 정확도를 유지하는가?

주요 결과

• 신경망 기반 모델은 기준 RNN 기반 위험 모델과 비교하여 경쟁력 있거나 더 우수한 예측 성능을 달성한다.
• 이 방법은 누적 위험 함수를 모델링함으로써 수치적 적분 없이 정확한 로그 가능도 평가를 제공한다.
• 이 모델은 다양한 합성 프로세스(Poisson, renewal, 자체 촉발 Hawkes 변형 등)에서 강건하다.
• 실제 데이터 세트(금융, 긴급 전화, 밈, 음악)에서 신경망 모델은 경쟁력 있거나 우수한 점수를 보여주며 특히 간격이 길고 변동성이 큰 데이터에서 두드러진다.
• 연속시간 LSTM과 비교할 때, 제안된 모델은 정확한 로그 가능도 평가로 인해 평균 성능이 더 좋고 구현이 더 쉬운 경향이 있다.