[논문 리뷰] Nonparametric Hawkes Processes: Online Estimation and Generalization Bounds

Yingxiang Yang, Jalal Etesami외 2명|arXiv (Cornell University)|2018. 01. 25.

Point processes and geometric inequalities참고 문헌 29인용 수 5

한 줄 요약

이 논문은 다변량 하크스 프로세스에서 촉발 함수를 비모수적 온라인으로 추정하기 위한 비모수적 온라인 알고리즘인 NPOLE-MHP를 제안한다. 이 알고리즘은 기울기 계산의 비효율성, 대표 정리의 부재, 양성 제약 조건 등의 과제를 극복하며, $\mathcal{O}(1/T)$의 손실과 안정성을 달성한다. 이는 비모수적 배치 방법의 정확성과 동일하며, 실제 및 시뮬레이션 데이터에서 모수적 온라인 알고리즘만큼 빠르게 작동한다.

ABSTRACT

In this paper, we design a nonparametric online algorithm for estimating the triggering functions of multivariate Hawkes processes. Unlike parametric estimation, where evolutionary dynamics can be exploited for fast computation of the gradient, and unlike typical function learning, where representer theorem is readily applicable upon proper regularization of the objective function, nonparametric estimation faces the challenges of (i) inefficient evaluation of the gradient, (ii) lack of representer theorem, and (iii) computationally expensive projection necessary to guarantee positivity of the triggering functions. In this paper, we offer solutions to the above challenges, and design an online estimation algorithm named NPOLE-MHP that outputs estimations with a $\mathcal{O}(1/T)$ regret, and a $\mathcal{O}(1/T)$ stability. Furthermore, we design an algorithm, NPOLE-MMHP, for estimation of multivariate marked Hawkes processes. We test the performance of NPOLE-MHP on various synthetic and real datasets, and demonstrate, under different evaluation metrics, that NPOLE-MHP performs as good as the optimal maximum likelihood estimation (MLE), while having a run time as little as parametric online algorithms.

연구 동기 및 목표

• 비모수적 온라인 추정의 과제를 해결하기 위해, 즉 기울기 평가의 비효율성, 대표 정리의 부재, 계산 비용이 큰 양성 제약 조건의 투영 등에 대응한다.
• 제약 조건이 강한 모수적 가정 없이도 비모수적 촉발 함수를 추정하면서 낮은 손실과 높은 안정성을 유지하는 온라인 알고리즘을 개발한다.
• 연속적 마크(예: 범죄의 심각도 또는 거래량)를 갖는 사건을 모델링할 수 있도록 프레임워크를 표시된 하크스 프로세스(MMHP)로 확장한다.
• 제안된 방법이 비모수적 배치 학습과 동등한 성능을 달성하면서도, 모수적 온라인 방법과 유사한 런타임 효율성을 유지함을 보여준다.
• 뉴스 미디어 확산 및 시카고의 범죄 패tern과 같은 실제 데이터셋을 기반으로 다중 평가 지표에 따라 방법을 검증한다.

제안 방법

• 시간 축을 $\delta$ 이내의 간격으로 이산화하여 연속적인 강도 함수를 이산 최적화 문제로 변환함으로써 근사 오차를 제한한다.
• 하크스 프로세스에 특화된 간격 간 시간 통계를 활용한 온라인 커널 학습 프레임워크를 도입하여 실시간 목적 함수를 실현 가능하게 설계한다.
• 수렴성과 안정성을 보장하기 위해 $\eta_k = 1/(k\zeta + 800)$로 설계된 적절한 단계 크기 규칙을 사용한 투영 온라인 기울기 하강법을 적용한다.
• 이산화된 공식의 구조 덕분에 투영이 계산적으로 효율적이므로, 촉발 함수의 양성 조건을 강제한다.
• 다변량 표시된 하크스 프로세스(MMHP)의 경우, 촉발 함수를 시간 지연과 마크(예: 거리 또는 크기)에 모두 의존하도록 확장하여 사건 역학의 더 풍부한 모델링을 가능하게 한다.
• 이론적 분석을 통해 시간 범위 $T$ 가 알려져 있을 경우 $\mathcal{O}(\log T)$의 손실 경계를 확립하였으며, 반복당 비용은 $\mathcal{O}(p^2)$이며, 여기서 $p$는 차원 수이다.

실험 결과

연구 질문

• RQ1 비모수적 온라인 알고리즘을 다변량 하크스 프로세스에 적용하여 배치 학습의 계산적 병목 현상과 모수적 모델의 유연성 부족을 피할 수 있는가?
• RQ2 온라인 비모수적 추정에서 대표 정리의 부재와 높은 양성 제약 조건 투영 비용 문제를 어떻게 해결할 수 있는가?
• RQ3 시간 이산화된 강도 근사에 기반한 온라인 비모수적 추정기의 이론적 손실과 안정성 보장은 무엇인가?
• RQ4 이를 표시된 하크스 프로세스로 일반화할 수 있는가? 이 경우 사건의 마크(예: 범죄의 심각도, 거래량)가 촉발 효과에 영향을 미칠 수 있는가?
• RQ5 온라인 비모수적 방법이 배치 비모수적 학습과 동등한 성능을 달성하면서도 모수적 온라인 방법과 유사한 런타임 효율성을 유지할 수 있는가?

주요 결과

• NPOLE-MHP는 $\mathcal{O}(1/T)$의 손실과 안정성 보장을 달성하여 강력한 이론적 수렴 보장을 보여준다.
• 시뮬레이션 및 실제 데이터셋에서 NPOLE-MHP는 최적의 최대우도추정(MLE)과 가능도 및 기타 지표에서 동등한 성능을 보였다.
• 알고리즘은 반복당 $\mathcal{O}(p^2)$ 시간에 작동하여, 비모수적임에도 불구하고 모수적 온라인 알고리즘만큼 효율적이다.
• 시카고의 범죄 데이터 실험에서 NPOLE-MMHP는 실제 마크 분포(예: 중심에서의 범죄 거리)를 반영한 더 현실적인 촉발 함수를 생성했으며, OGD는 포isson 프로세스를 근사하는 데 그쳤다.
• 모든 파rameter 설정에서 OGD 대비 NPOLE-MMHP의 초과 손실은 일관되게 양수였으며, 제안된 방법의 우수한 성능을 시사한다.
• 뉴스 미디어 데이터셋에서 NPOLE-MHP는 OGD 및 DMD보다 단계당 누적 손실이 더 낮게 축적되어 더 빠른 수렴과 더 나은 최적화 성능을 확인했다.