[논문 리뷰] Hawkes Process Kernel Structure Parametric Search with Renormalization Factors

Rafael Lima, Jaesik Choi|arXiv (Cornell University)|2018. 05. 24.

Point processes and geometric inequalities참고 문헌 14인용 수 3

한 줄 요약

이 논문은 자기자극 핵함수의 파라미터를 안정적이고 정적 상태로 제약함으로써 히크스 과정에서 최대우도추정(MLE)을 안정화하기 위해 재규합 인자(RF)를 도입한다. 이 방법은 지수, 거듭제곱법칙, 레일라이, 히탈리스 Q-지수 등 네 가지 파라메트릭 핵함수에서 성능을 향상시키며, 특히 조건이 나쁜 초기화나 짧은 시퀀스 상황에서 뛰어난 성능을 보이며, 실험적 평가에서 RF-MLE가 항상 표준 MLE를 능가한다.

ABSTRACT

Hawkes Processes are a type of point process for modeling self-excitation, i.e., when the occurrence of an event makes future events more likely to occur. The corresponding self-triggering function of this type of process may be inferred through an Unconstrained Optimization-based method for maximization of its corresponding Loglikelihood function. Unfortunately, the non-convexity of this procedure, along with the ill-conditioning of the initialization of the self- triggering function parameters, may lead to a consequent instability of this method. Here, we introduce Renormalization Factors, over four types of parametric kernels, as a solution to this instability. These factors are derived for each of the self-triggering function parameters, and also for more than one parameter considered jointly. Experimental results show that the Maximum Likelihood Estimation method shows improved performance with Renormalization Factors over sets of sequences of several different lengths.

연구 동기 및 목표

• 비볼록성과 조건이 나쁜 초기화로 인해 히크스 과정에서의 비제약 MLE가 불안정해지는 문제를 해결하기 위해.
• 자기자극 핵함수의 파라미터를 안정적이고 정적 상태로 제약하는 닫힌 형태의 재규합 인자(RF)를 유도하기 위해.
• 지수, 거듭제곱법칙, 레일라이, 히탈리스 Q-지수 등 다양한 핵함수 가족과 함께 공동 파라미터 공간으로의 안정화를 확장하기 위해.
• 다양한 시퀀스 길이와 핵함수 할당 오류 상황에서 메서드의 유효성을 검증하기 위해.
• 모델 적합도를 포기하지 않고도 불안정한 파라미터 영역 근처에서도 강건한 파라미터 추정을 가능하게 하기 위해.

제안 방법

• 자기자극 핵함수의 파라미터가 안정적이고 정적 상태로 유지되도록 보장하기 위해 재규합 인자(RF)를 정규화 메커니즘으로 제안한다.
• 지수, 거듭제곱법칙, 레일라이, 히탈리스 Q-지수 등 네 가지 핵함수 가족에 대해 각 개별 파라미터 및 공동 파라미터 집합에 대해 닫힌 형태의 RF 식을 유도한다.
• MLE 최적화 과정 중에 RF를 적용하여 파라미터 공간을 안정된 구성으로 제약함으로써 무한한 사건 빈도로의 붕괴를 방지한다.
• 파라미터 ε를 활용한 편미분 기반 접근법을 통해 재규합 정도를 제어함으로써 불안정 경계 근처의 탐색을 가능하게 한다.
• 표준 MLE에 RF 제약 조건을 적용한 RF-MLE를 사용하고, 합성 시퀀스에서 비제약 MLE와의 성능을 비교한다.
• 다양한 길이의 합성 시퀀스(T=1000, 5000, 10000, 30000)와 핵함수 할당 오류 상황을 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화와 조건이 나쁜 초기화 조건 하에서 재규합 인자가 히크스 과정의 MLE를 안정화시킬 수 있는가?
• RQ2 RF는 다양한 파라메트릭 핵함수 가족에서 로그우도 성능을 어떻게 향상시키는가?
• RQ3 짧은 시퀀스 및 핵함수 할당 오류 상황에서 RF-MLE는 표준 MLE를 얼마나 뛰어나게 하는가?
• RQ4 공동 파라미터 재규합은 개별 파라미터 제약을 넘어서 안정성과 수렴성을 향상시킬 수 있는가?
• RQ5 파라미터가 불안정한 구성 근처에 있을 때도 이 방법은 강건성을 유지하는가?

주요 결과

• 모든 시험 시퀀스 길이(T=1000에서 T=30000까지)에서 RF-MLE는 로그우도를 크게 향상시켰으며, 표준 MLE보다 일관된 성과를 보였다.
• T=1000일 때, ε=0.1을 사용한 RF-MLE는 모든 핵함수 유형에서 90%의 시퀀스에서 로그우도를 향상시켰으며, 일부 사례에서는 최대 15% 향상되었다.
• T=30000일 때, RF-MLE는 지수 핵함수에서 로그우도 -27509.08을 기록했고, 표준 MLE는 -27977.34를 기록하여 약 1.7%의 상대적 향상이 이루어졌다.
• T=10000일 때 핵함수 할당 오류(예: PWL 생성 시퀀스에 지수 핵함수를 피팅) 상황에서도 RF-MLE는 70~80%의 경우에서 성능 향상을 보였다.
• 레일라이 핵함수는 가장 일관된 향상을 보였으며, 모든 시퀀스 유형과 길이에서 RF-MLE가 MLE와 동일하거나 더 높은 로그우도를 달성했다.
• 이 방법은 불안정한 파라미터 영역 근처에서도 MLE를 효과적으로 안정화시켜 무한한 사건 빈도로의 붕괴를 방지하면서도 모델 적합도를 유지한다.