[논문 리뷰] Markov-Modulated Hawkes Processes for Sporadic and Bursty Event Occurrences

Jing Wu, Owen G. Ward외 2명|arXiv (Cornell University)|2019. 03. 08.

Point processes and geometric inequalities참고 문헌 35인용 수 9

한 줄 요약

이 논문은 잠재적인 마르코프 과정과 자기각성 허크스 과정을 조합하여 사회적 상호작용에서 흩어져 있고 폭발적이며 이질적인 사건 동역학을 모델링하기 위해 마르코프-조절 허크스 과정(MMHP)을 제안한다. 이 모델은 활성 상태와 비활성 상태를 번갈아가며 간직하며, 은닉된 동역학의 정확한 추론과 실제 데이터(이메일 및 동물 행동 데이터 포함)에서 기존 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

Modeling event dynamics is central to many disciplines. Patterns in observed event arrival times are commonly modeled using point processes. Such event arrival data often exhibits self-exciting, heterogeneous and sporadic trends, which is challenging for conventional models. It is reasonable to assume that there exists a hidden state process that drives different event dynamics at different states. In this paper, we propose a Markov Modulated Hawkes Process (MMHP) model for learning such a mixture of event dynamics and develop corresponding inference algorithms. Numerical experiments using synthetic data demonstrate that MMHP with the proposed estimation algorithms consistently recover the true hidden state process in simulations, while email data from a large university and data from an animal behavior study show that the procedure captures distinct event dynamics that reveal interesting social structures in the real data.

연구 동기 및 목표

• 기존의 점과정 모델이 사회적 상호작용에서 흩어져 있고 폭발적이며 이질적인 사건 동역학을 포괄하는 데에 한계가 있음을 해결하기 위해.
• 은닉된 연속시간 마르코프 과정이 허크스 과정을 조절하여 활성 폭발기와 장기적인 비활성 기간의 공존을 모델링하기 위해.
• 연속시간 사건 데이터에서 은닉된 상태 전이와 강도 동역학을 학습하기 위한 효율적인 추론 알고리즘을 개발하기 위해.
• 실제 데이터 세트인 이메일 네트워크와 동물 행동 연구에서 의미 있는 사회적 구조를 드러내는 데 모델의 능력을 검증하기 위해.
• 기존의 허크스 과정에 상태에 의존하는 자극과 긴 尾部(heavy-tailed) 대기 시간을 통합하여 확장하기 위해.

제안 방법

• MMHP는 사건 강도를 혼합된 허크스 과정으로 모델링하며, 강도 제도가 활성 및 비활성 상태로 구성된 두 상태의 은닉 연속시간 마르코프 체인에 따라 전환된다.
• 강도 함수는 λ(t) = Σᵣ πᵣ(t)λᵣ(t)로 정의되며, 여기서 πᵣ(t)는 현재 상태 r ∈ {1,2}를 나타내고, λᵣ(t)는 각 상태에서 αᵣ exp(−βᵣ(t−s))의 자극 커널을 가진 허크스 과정을 따른다.
• 정규화된 전진-후진 알고리즘을 변형하여 추론을 수행하며, 최대우도 기반으로 은닉 상태 시퀀스와 모델 파라미터를 동시 추정한다.
• 은닉 상태와 파라미터 추정의 불확실성을 다루기 위해 게이브스 샘플링과 메트로폴리스-하스팅스 업데이트를 사용한 베이지안 추론이 적용된다.
• 자극에 대해 지수 커널을 사용하며, 각 상태에서 과거 사건의 영향력과 감쇠 정도를 조절하는 파라미터 αᵣ 및 βᵣ를 포함한다.
• 모델 선택은 정보 기준(예: AIC/BIC)에 따라 유도되며, 계산적 도전 과제가 발생하므로 R > 2인 경우 R-상태 마르코프 과정으로 확장된다.

실험 결과

연구 질문

• RQ1 마르코프-조절 허크스 과정은 사회적 상호작용 데이터에서 흩어져 있고 폭발적인 사건 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 알려진 동역학을 가진 시뮬레이션 데이터에서 제안된 추론 알고리즘이 진짜 은닉 상태 과정을 얼마나 잘 복원하는가?
• RQ3 MMHP는 실세계 이메일 데이터와 동물 행동 데이터에서 명확하고 해석 가능한 사회적 상호작용 패턴을 드러내는가?
• RQ4 MMHP는 장기적인 비활성 기간과 무거운 꼬리 대기 시간을 포착하는 데 있어 표준 허크스 과정과 다른 점과정 모델보다 얼마나 우수한가?
• RQ5 모델은 연속시간 사건 시퀀스로부터 사회적 조직의 구조적 변화, 예를 들어 계층의 안정화를 감지할 수 있는가?

주요 결과

• 수치 실험 결과, 제안된 추론 알고리즘을 사용한 MMHP는 고노이즈 및 희박한 사건 환경에서도 시뮬레이션 데이터에서 진짜 은닉 상태 과정을 일관되게 복원한다.
• 대규모 대학의 이메일 데이터에서, 모델은 학기와 근무 시간과 일치하는 활성 및 비활성 상태를 식별한다.
• 모델은 모든 상호작용 대비 활성 상태 상호작용에서 더 강한 선형 계층 구조를 드러내며, 이는 이전 연구에서 보고된 사회적 계층 안정화와 일치한다.
• 동물 행동 데이터의 경우, MMHP는 10일 이후 안정된 군집 패턴을 감지하며, 모든 집단에서 시간이 지남에 따라 사회적 구조의 안정성이 일관되게 유지됨을 보여준다.
• 특히 불규칙한 폭발성의 데이터에서, MMHP는 표준 허크스 과정보다 더 무거운 꼬리 대기 시간 분포와 장기적인 침묵 기간을 더 잘 포착한다.
• MMHP 프레임워크는 불확실성이 정량화된 미래 사건 수 예측이 가능하게 하여 자원 배분 및 행동 분석 분야의 실용적 응용을 지원한다.