[논문 리뷰] Nonparametric Markovian Learning of Triggering Kernels for Mutually Exciting and Mutually Inhibiting Multivariate Hawkes Processes

Rémi Lemonnier, Nicolas Vayatis|arXiv (Cornell University)|2014. 05. 16.

Point processes and geometric inequalities참고 문헌 17인용 수 7

한 줄 요약

이 논문은 다변량 하크스 과정에서 상호 자극과 억제를 모두 고려한 비모수적 마르코프 알고리즘인 MEMIP를 제안한다. 지수 기저 함수 위에서 다항식 근사법을 사용하여 자극 커널을 학습하며, 정확한 우도 함수의 볼록 형식을 통해 O(N) 복잡도를 달성하고, MMEL 및 지수 커널과 같은 최신 기법들보다도 합성 및 실세계 데이터에서 사건 예측과 진짜 커널 역동성 복원에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we address the problem of fitting multivariate Hawkes processes to potentially large-scale data in a setting where series of events are not only mutually-exciting but can also exhibit inhibitive patterns. We focus on nonparametric learning and propose a novel algorithm called MEMIP (Markovian Estimation of Mutually Interacting Processes) that makes use of polynomial approximation theory and self-concordant analysis in order to learn both triggering kernels and base intensities of events. Moreover, considering that N historical observations are available, the algorithm performs log-likelihood maximization in $O(N)$ operations, while the complexity of non-Markovian methods is in $O(N^{2})$. Numerical experiments on simulated data, as well as real-world data, show that our method enjoys improved prediction performance when compared to state-of-the art methods like MMEL and exponential kernels.

연구 동기 및 목표

• 대규모 데이터에서 상호 자극 및 억제 상호작용을 모두 포함한 다변량 하크스 과정을 학습하는 데 도전하는 것.
• 모수적 형태를 가정하지 않고 시간에 따라 변화하는 배경 강도와 일반 자극 커널을 추정할 수 있는 비모수적 방법을 개발하는 것.
• 정확한 우도의 마르코프적 볼록 형식을 통해 선형 시간 복잡도의 로그우도 계산과 전역 수렴을 달성하는 것.
• 특히 억제성 상호작용과 동적인 배경 강도가 존재하는 환경에서 기존 기법들인 MMEL 및 지수 커널에 비해 예측 정확도와 커널 복원 성능을 향상시키는 것.

제안 방법

• 자극 커널을 기억이 없는 지수 기저 함수의 선형 조합으로 표현하기 위해 다항식 근사 이론을 사용한다.
• 로그우도 최대화 문제를 자가-일관성 있는 볼록 최적화 문제로 재구성함으로써 전역 수렴과 효율적인 최적화를 가능하게 한다.
• 자기회귀적 추정기로, 자극 커널을 지수 기저에 투영함으로써 단일 패assing 데이터 처리 방식을 통해 O(N) 복잡도를 확보한다.
• 도함수에 대한 L² 노름을 통한 부드러움 페널티를 도입하고, 초모수 α로 제어함으로써 과적합을 방지한다.
• 커널 분해에 음수 계수를 允허함으로써, 비음수 모수적 모델이 포착하지 못하는 억제 효과를 모델링할 수 있다.
• 기존 표준 모델이 일정한 μᵤ로 가정하는 것과 달리, 시간에 따라 변화하는 배경 강도 μᵤ(t)를 데이터 기반으로 추정할 수 있다.

실험 결과

연구 질문

• RQ1 비모수적이고 마르코프적인 방법이 다변량 하크스 과정에서 선형 시간 복잡도로 자극성 및 억제성 자극 커널을 모두 학습할 수 있는가?
• RQ2 커널 분해에 음수 계수를 允허함으로써 억제 상호작용 존재 시 모델링 정확도가 향상되는가?
• RQ3 일정한 강도 가정 대비 시간에 따라 변화하는 배경 강도의 데이터 기반 추정이 예측 성능 향상에 기여하는가?
• RQ4 MMEL 및 지수 커널과 같은 최신 기법들과 비교했을 때, 제안된 방법은 예측 정확도와 커널 복원 측면에서 어떤가?
• RQ5 실세계 및 시뮬레이션 환경에서 초모수 α(부드러움)와 K(기저 차수)에 대한 방법의 민감도는 어떠한가?

주요 결과

• 300차원 및 p=1인 시뮬레이션 데이터에서 MEMIP는 Diff 점수 0.759 [0.755, 0.768]를 기록했으며, 이는 MMEL(0.807) 및 지수 커널(0.791)을 상당히 뛰어넘었다.
• 10%의 억제성 커널을 포함한 시뮬레이션 데이터셋에서 MEMIP는 Diff 점수 0.803 [0.793, 0.810]을 달성했으며, MMEL(0.839) 및 지수 커널(0.830)을 초월했다.
• MemeTracker 데이터셋에서 MEMIP는 K=10일 때 예측 AUC 0.8021을 기록했으며, 이는 MMEL(0.6928) 및 지수 커널(0.7716)을 뛰어넘었다.
• MEMIP는 초모수 α에 대해 뛰어난 내성성을 보였으며, 다양한 값에서 높은 성능을 유지했고, 반면 MMEL는 스무딩 선택에 민감했다.
• 로그우도 계산에 대해 O(N) 복잡도를 달성했으며, 비마르코프 기법들이 O(N²)로 확장되는 것과 달리 대규모 데이터셋에 대한 확장성이 보장되었다.
• K=3일 때에도 MEMIP는 강력한 예측 성능를 기록했으며, 낮은 기저 차수로도 효과적인 근사가 가능함을 시사했다.