[논문 리뷰] A Dirichlet Mixture Model of Hawkes Processes for Event Sequence Clustering

Hongteng Xu, Hongyuan Zha|arXiv (Cornell University)|2017. 01. 31.

Bayesian Methods and Mixture Models참고 문헌 44인용 수 40

한 줄 요약

이 논문은 비동기적 이벤트 시계열을 모델링하기 위해 클러스터별로 특화된 파rameter를 갖는 하크스 프로세스와 클러스터에 대한 딜리클릿 사전분포를 사용하는 모델기반 클러스터링 방법인 딜리클릿 혼합 하크스 프로세스(DMHP)를 제안한다. 이 방법은 변분 베이지안 추론과 적응형 내부 반복 전략을 통해 구조적 촉발 패턴을 견고하게 식별하고, 더 높은 클러스터링 순도와 일관성을 달성한다.

ABSTRACT

We propose an effective method to solve the event sequence clustering problems based on a novel Dirichlet mixture model of a special but significant type of point processes --- Hawkes process. In this model, each event sequence belonging to a cluster is generated via the same Hawkes process with specific parameters, and different clusters correspond to different Hawkes processes. The prior distribution of the Hawkes processes is controlled via a Dirichlet distribution. We learn the model via a maximum likelihood estimator (MLE) and propose an effective variational Bayesian inference algorithm. We specifically analyze the resulting EM-type algorithm in the context of inner-outer iterations and discuss several inner iteration allocation strategies. The identifiability of our model, the convergence of our learning method, and its sample complexity are analyzed in both theoretical and empirical ways, which demonstrate the superiority of our method to other competitors. The proposed method learns the number of clusters automatically and is robust to model misspecification. Experiments on both synthetic and real-world data show that our method can learn diverse triggering patterns hidden in asynchronous event sequences and achieve encouraging performance on clustering purity and consistency.

연구 동기 및 목표

• 다양한 기저의 포인트 프로세스에 의해 생성된 비동기적이고 연속적인 이벤트 시계열을 클러스터링하는 데 도전하는 것.
• 특성 엔지니어링을 피하고 특성 기반 방법에서 유래하는 과적합 위험을 줄이는 모델 기반 클러스터링 접근법을 개발하는 것.
• 모델 식별성 확보 및 복잡한 시간적 의존성 학습 시 수렴성과 계산 효율성 향상.
• 다양한 실제 응용 분야에서 이벤트 시계열의 자기 촉발 패턴을 견고하게 탐지할 수 있도록 하는 것.

제안 방법

• DMHP 모델은 각 클러스터의 이벤트 시계열이 클러스터별로 고유한 강도 파ram터(기본율 μ와 영향 행렬 A)를 갖는 별개의 하크스 프로세스에 의해 생성된다고 가정한다.
• 혼합 성분 가중치(π)에 대한 비정보 사전분포로 딜리클릿 분포를 사용하여 클러스터 할당의 유연성을 확보한다.
• EM 프레임워크 내에서 내재된 변분 베이지안 추론 알고리즘을 개발하여 클러스터 할당, 모델 파aram터, 성분 가중치를 동시에 추정한다.
• 오픈 루프 제어 이론에 영감을 얻어 개발된 적응형 내부 반복 할당 전략은 각 EM 단계에서 내부 반복 수를 동적으로 조정하여 수렴 속도와 계산 비용의 균형을 이룬다.
• 제닝스 부등식을 사용하여 목적함수의 대체 하한(하한 함수, Q함수)을 유도하고, 변분 하한 최적화를 통해 μ와 A의 닫힌 형태 업데이트를 가능하게 한다.
• 비모수적 클러스터링을 위해 MCMC 기반 방법을 사용하여 성분을 확률적으로 병합하거나 분할하고, 병합/분할된 클러스터에 대해 결정적 파aram터 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 클러스터별로 고유한 파aram터를 유일하게 복원할 수 있도록 딜리클릿 혼합 하크스 프로세스를 局부적으로 식별 가능하게 만들 수 있는가?
• RQ2 수렴성과 계산 복잡성의 균형을 유지하면서 변분 추론을 어떻게 효율적으로 적응시켜 DMHP 모델을 학습할 수 있는가?
• RQ3 제안된 적응형 내부 반복 전략이 고정 또는 히우리스틱 반복 전략에 비해 수렴 속도와 클러스터링 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 실제 및 시뮬레이션 데이터에서 기존의 특성 기반 또는 모델 기반 클러스터링 방법에 비해 DMHP 기반 클러스터링 방법의 순도와 일관성은 어떻게 비교되는가?
• RQ5 모델가 틀린 경우나 노이즈가 많은 데이터 상황에서도 모델이 비동기적 이벤트 시계열에서 구조적 촉발 패턴을 견고하게 회복할 수 있는가?

주요 결과

• DMHP 모델은 국부적으로 식별 가능함이 증명되어, 서로 다른 파aram터 집합이 서로 다른 데이터 생성 과정에 대응함을 보장한다.
• 적응형 내부 반복 전략은 고정 반복 기반 기준 대비 수렴 속도를 크게 향상시켜 유사하거나 더 나은 클러스터링 성능를 달성하면서 더 빠른 최적화를 가능하게 한다.
• 제안된 방법은 시뮬레이션 및 실제 데이터 세트에서 기존의 특성 기반 및 모델 기반 클러스터링 방법을 능가하는 뛰어난 클러스터링 순도와 일관성을 달성한다.
• 합리적인 베이지안 파aram터 사전분포와 낮은 파aram터 수 덕분에 과적합과 모델 가정 오류에 대한 저항력이 뛰어나다.
• MCMC 기반 성분 업데이트 메커니즘은 최적의 클러스터 수를 자동으로 추정할 수 있게 하여 사전에 K의 값을 알지 못해도 비모수적 클러스터링을 지원한다.
• 실증 결과는 DMHP 모델이 IPTV 및 전자 건강 기록과 같은 응용 분야에서 이벤트 시계열의 잠재적 촉발 패턴, 예를 들어 자기 자극성과 타입 간 영향을 효과적으로 드러내고 있음을 보여준다.