[논문 리뷰] Consistency and Computation of Regularized MLEs for Multivariate Hawkes Processes

Xin Guo, Anran Hu외 2명|arXiv (Cornell University)|2018. 10. 06.

Point processes and geometric inequalities참고 문헌 42인용 수 4

한 줄 요약

이 논문은 다변량 하크스 프로세스(MHPs)에 대한 정규화된 최대우도추정량(정규화된 MLE)의 일致성을 확립하고, 전역 수렴을 보장하는 안드레슨 가속화된 관성형 근사선형 최소화 알고리즘인 AA-iPALM을 제안한다. 이 알고리즘은 실세계 데이터에서 인과관계 구조를 식별하는 데 iPALM 및 PALM보다 뛰어난 성능을 보이며, 고빈도 거래에서의 군중 행동과 craigslist 임대 광고 목록의 인과관계 패tern을 포함한 다양한 응용 분야에서 유의미한 결과를 도출한다.

ABSTRACT

This paper proves the consistency property for the regularized maximum likelihood estimators (MLEs) of multivariate Hawkes processes (MHPs). It also develops an alternating minimization type algorithm (AA-iPALM) to compute the MLEs with guaranteed global convergence to the set of stationary points. The performance of this AA-iPALM algorithm on both synthetic and real-world data shows that AA-iPALM consistently improves over iPALM and PALM. Moreover, AA-iPALM is able to identify the causality structure in rental listings on craigslist and herd behavior in the NASDAQ ITCH dataset.

연구 동기 및 목표

• 정규화된 추정에 관한 문헌에서의 빈도가 낮은 문제를 해결하고, 다변량 하크스 프로세스(MHPs)에 대한 정규화된 MLE의 이론적 일致성을 확립한다.
• 비볼록 우도 함수에 대한 고차원 MHP 매개수 추정에서 계산적으로 효율적이고 전역 수렴 보장이 되는 알고리즘을 개발한다.
• 금융 주문 흐름과 소셜 미디어 활동과 같은 실세계 포인트 프로세스 데이터에서 의미 있는 인과관계 및 유도 구조를 식별한다.
• 알고리즘적 가속화와 관성 동역학을 통해 고차원 설정에서 MLE의 초기화 및 하이퍼파ram터에 대한 민감도 문제를 해결한다.

제안 방법

• 비볼록 MHP 우도 최대화에서 수렴 속도와 안정성을 향상시키기 위해 iPALM에 안드레슨 가속화를 결합한 새로운 최적화 알고리즘인 AA-iPALM을 제안한다.
• 기저 강도, 자극 행렬, 커널 매개수 등 MHP 매개수의 블록 구조를 활용하여 효율적인 교대 최소화를 가능하게 한다.
• l1, l2, 노름핵 등 정규화 기법을 MLE 프레임워크에 통합하여 자극 행렬의 희박성, 저랭크 구조 또는 그룹 희박성을 촉진한다.
• MHP와 분기 과정 간의 연결성을 활용하여 추상적인 기술적 가정에 의존하지 않고 이론적 일치 결과를 도출한다.
• 유도 효과를 민감하고 경험적으로 기반한 모델링을 가능하게 하기 위해 시간적 자극 함수로 거듭제곱 법칙 커널 (t + c)^(-β)를 사용한다.
• 알고리즘을 NASDAQ ITCH(고빈도 거래 데이터)와 craigslist 임대 광고 목록과 같은 실세계 데이터셋에 적용하여 인과 역학을 탐지한다.

실험 결과

연구 질문

• RQ1 실제 조건 하에서 다변량 하크스 프로세스에 대한 정규화된 MLE는 일치성을 확보하는가?
• RQ2 고차원적 비볼록 MHP 우도 함수에 대해 전역 수렴 보장을 갖는 최적화 알고리즘을 개발할 수 있는가?
• RQ3 제안된 AA-iPALM 알고리즘이 iPALM 및 PALM과 같은 기존 방법보다 수렴 속도와 해의 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 추정된 MHP 매개수는 금융 시장에서의 군중 행동과 같은 실세계 데이터에서 해석 가능한 인과관계를 드러내는가?
• RQ5 정규화 항은 MHP에서 진정한 인과 네트워크 복원에 어떤 영향을 미치는가?

주요 결과

• MHP에 대한 정규화된 MLE는 일치성이 입증되어 통계적 추론에 응용할 수 있는 강력한 이론적 기반을 확보한다.
• AA-iPALM는 정류점 집합으로의 전역 수렴을 달성하며, 반복 복잡도 및 수렴 속도에 이론적 보장을 갖는다.
• 합성 데이터에서 AA-iPALM는 수렴 속도와 해의 정확도 측면에서 일관되게 iPALM 및 PALM을 능가한다.
• NASDAQ ITCH 데이터셋에서 알고리즘은 자기 자극(대각선 α 항목)과 군중 행동(예: α_{L^a,M^b} > 0)을 성공적으로 식별하여 알려진 시장 역학을 확인한다.
• craigslist 임대 광고 목록에서는 사용자 게시 행동 간의 의미 있는 인과관계를 드러내어 정보 전파 패턴을 규명한다.
• Google의 경우 추정된 β 매개수는 1.36이며, Apple의 경우 1.44로, 고빈도 거래에서 거듭제곱 법칙 커널을 사용한 이전 연구와 일치한다.