[논문 리뷰] Learning Multivariate Hawkes Processes at Scale

Maximilian Nickel, Matthew Le|arXiv (Cornell University)|2020. 02. 28.

Point processes and geometric inequalities참고 문헌 38인용 수 10

한 줄 요약

이 논문은 실제 이벤트 시계열에서의 희소성 특성을 활용하여 다변량 하크스 프로세스(MHPs)를 스케일러블하게 학습하는 방법을 제안한다. 이는 네트워크 크기와 무관하게 정확한 우도 및 기울기 계산을 가능하게 하며, 예측 성능는 최고 수준으로 유지하면서도 희소 데이터에서 수십만 배의 속도 향상을 이룬다. 이로 인해 대규모 확산 프로세스의 해석 가능한 모델링이 가능해진다.

ABSTRACT

Multivariate Hawkes Processes (MHPs) are an important class of temporal point processes that have enabled key advances in understanding and predicting social information systems. However, due to their complex modeling of temporal dependencies, MHPs have proven to be notoriously difficult to scale, what has limited their applications to relatively small domains. In this work, we propose a novel model and computational approach to overcome this important limitation. By exploiting a characteristic sparsity pattern in real-world diffusion processes, we show that our approach allows to compute the exact likelihood and gradients of an MHP -- independently of the ambient dimensions of the underlying network. We show on synthetic and real-world datasets that our model does not only achieve state-of-the-art predictive results, but also improves runtime performance by multiple orders of magnitude compared to standard methods on sparse event sequences. In combination with easily interpretable latent variables and influence structures, this allows us to analyze diffusion processes at previously unattainable scale.

연구 동기 및 목표

• 대규모 확산 프로세스에서 다변량 하크스 프로세스(MHPs)의 확장성 한계를 극복하기 위해.
• 환경 네트워크 차원에 의존하지 않고 MHPs에 대한 정확한 우도 및 기울기 계산을 가능하게 하기 위해.
• 실제 이벤트 시계열에 내재된 희소성을 활용하여 계산 복잡도를 극적으로 감소시키기 위해.
• 수만 개의 실체를 포함하는 데이터셋에까지 확장되면서도 모델의 해석 가능성과 영향력 구조 추론을 유지하기 위해.
• 합성 및 실세계 데이터셋(정책 확산 및 Reddit 하이퍼링크 네트워크 포함)에서 최고 수준의 예측 성능와 런타임 효율성을 입증하기 위해.

제안 방법

• 희소성을 활용하기 위해 비음수 행렬 분해를 사용해 MHP 파라미터를 인수분해하는 새로운 모델인 Lazy MHP를 도입한다.
• |X|는 실체 수, |H|는 이벤트 수, E는 고유한 이벤트 쌍의 수일 때, 정확한 로그 우도 및 기울기 계산을 O(|X| + |H|·E) 시간에 수행하는 계산 프레임워크를 설계한다.
• 흥분 행렬 α를 잠재 요인 u_x와 v_y로 비음수 분해함으로써 영향력 구조의 효율적이고 해석 가능한 모델링을 가능하게 한다.
• 전체 행렬 연산을 피하고 관측된 이벤트 상호작용에만 집중하는 희소 이벤트 기반 계산 기법을 적용한다.
• 미니배치 샘플링을 활용한 확률적 최적화를 통해 대규모 데이터셋에 대한 학습을 확장하면서도 수렴성과 정확도를 유지한다.
• Reddit 하이퍼링크와 같이 55,000개 이상의 실체를 포함하는 데이터셋에서도 영향력 행렬 α 및 잠재 요인 u_x, v_y에 대한 전체 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 희소 이벤트 시계열에서 다변량 하크스 프로세스를 대규모로 효율적으로 학습시킬 수 있는가?
• RQ2 이벤트 시계열의 희소성을 활용하면 네트워크 크기와 무관하게 정확한 우도 계산이 가능한가?
• RQ3 제안된 방법은 상당한 속도 향상에도 불구하고 영향력 구조와 잠재 요인의 해석 가능성을 유지할 수 있는가?
• RQ4 기존 방법과 비교해 대규모 데이터셋에서 예측 정확도와 런타임 성능 측면에서 모델 성능은 어떠한가?
• RQ5 Reddit 하이퍼링크 확산과 같은 대규모 확산 프로세스에서 의미 있는, 주제적으로 일관된 잠재적 구조를 모델이 드러낼 수 있는가?

주요 결과

• 제안된 방법은 조차도 희소 시계열에서 표준 MHP 추론 대비 수십만 배의 학습 시간 단축을 달성한다.
• 합성 및 실세계 데이터셋(예: 정책 혁신 및 확산 데이터베이스(SPID))에서 최고 수준의 예측 성능를 확보한다.
• 55,000개 이상의 실체와 860,000개의 이벤트를 포함하는 Reddit 하이퍼링크 데이터셋에서, 모델은 에포크당 약 650초 내외로 학습이 가능했으며, 100 에포크 후 약 -9.1의 로그 우도를 기록했다.
• 추론된 영향력 행렬 α 및 잠재 요인 u_x, v_y는 뉴욕이 인근 주들에 영향을 주고, 캘리포니아가 서부 연안에 영향을 미친다는 등 명확한 지역적·주제적 구조를 드러냈다.
• Reddit에서 음악, 스포츠, 게임 커뮤니티 등 주제적으로 일관된 잠재적 구성요소를 식별하여 대규모에서의 해석 가능성의 가능성을 입증했다.
• 이전에는 MHP에 대해 불가능했던, 728개 정책과 1691–2017년 기간을 포함한 전체 SPID 데이터베이스에 대한 영향력 구조 및 잠재 요인의 전체 추론을 가능하게 한다.