[논문 리뷰] Efficient EM-Variational Inference for Hawkes Process

Feng Zhou, Li, Zhidong외 4명|arXiv (Cornell University)|2019. 05. 29.

Point processes and geometric inequalities참고 문헌 23인용 수 4

한 줄 요약

이 논문은 기저 강도와 유도 커널을 유연하고 부드러운 함수로 모델링하기 위해 가우시안 프로세스 변환을 사용하는 완전 베이지안 비모수 하크스 프로세스를 제안한다. 잠재적 분기 구조를 통해 변분 추론을 EM 프레임워크에 통합하고 가속 기법을 도입함으로써, 격자 기반 처리 없이도 효율적이고 정확한 추론이 가능해지며, 시뮬레이션 및 실세계 데이터에서 최신 기법들을 능가한다.

ABSTRACT

In classical Hawkes process, the baseline intensity and triggering kernel are assumed to be a constant and parametric function respectively, which limits the model flexibility. To generalize it, we present a fully Bayesian nonparametric model, namely Gaussian process modulated Hawkes process and propose an EM-variational inference scheme. In this model, a transformation of Gaussian process is used as a prior on the baseline intensity and triggering kernel. By introducing a latent branching structure, the inference of baseline intensity and triggering kernel is decoupled and the variational inference scheme is embedded into an EM framework naturally. We also provide a series of schemes to accelerate the inference. Results of synthetic and real data experiments show that the underlying baseline intensity and triggering kernel can be recovered without parametric restriction and our Bayesian nonparametric estimation is superior to other state of the arts.

연구 동기 및 목표

• 상수 기저 강도와 파rametric 유도 커널을 가정하는 전통적 하크스 프로세스의 한계를 극복하기 위해.
• 도메인 격자 기반 처리 없이도 비모수적이고 부드러운 기저 강도와 유도 커널 추정이 가능한 완전 베이지안 비모수 모델을 개발하기 위해.
• 잠재적 분기 구조를 통해 기저 강도와 커널 추정을 분리함으로써 복잡한 모델에 대한 효율적 추론을 가능하게 하기 위해.
• 차원 감소 및 ELBO의 폐형 도함수를 활용해 EM 프레임워크 내 변분 추론을 가속화하기 위해.

제안 방법

• 기저 강도와 유도 커널을 비음성 보장과 함께 비모수적이고 부드러운 추정이 가능한 가우시안 프로세스의 변환으로 모델링하기 위해.
• 기저 강도와 유도 커널 간의 상관관계를 우도에서 분리하기 위해 잠재적 분기 구조를 도입하여 EM 기반 추론을 가능하게 하기 위해.
• 기저 강도 및 커널 함수에 대한 사후 분포를 동시에 추론하기 위해 변분 추론을 EM 프레임워크에 통합하기 위해.
• 변분 추론 중 고차원 최적화의 계산 복잡도를 줄이기 위해 차원 감소 기법을 적용하기 위해.
• EM-변분(EMV) 알고리즘의 최적화 단계를 가속화하기 위해 증거 하한 경계(ELBO)의 폐형 부분 도함수를 유도하기 위해.
• R 반복 동안 O(RN²) 복잡도를 갖는 EMV 알고리즘을 사용하여 대규모 데이터 세트에 대한 추론 스케일링을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 기본적인 하크스 프로세스에 대한 비모수적 또는 빈도주의 비모수적 대안보다 더 높은 융통성과 정확도를 달성할 수 있는가?
• RQ2 기저 강도와 유도 커널의 결합된 우도를 다루기 위해 변분 추론을 효과적으로 EM 프레임워크에 통합할 수 있는가?
• RQ3 어떤 가속 기법이 하크스 프로세스에 대한 베이지안 비모수 추론을 계산적으로 실용적으로 만들 수 있는가?
• RQ4 모델은 비모수적 가정 없이도 복잡하고 시간에 따라 변화하는 기저 강도와 비지수형 유도 커널을 얼마나 잘 복원할 수 있는가?

주요 결과

• 제안된 EM-변분 추론(EMV) 방법은 파arametric 제약 없이도 실제 기저 강도와 유도 커널을 성공적으로 복원하였으며, 다양한 진짜 함수를 가진 시뮬레이션 데이터를 통해 이를 입증하였다.
• 시뮬레이션 케이스 1에서 EMV는 기저 강도 추정 오차 0.008과 유도 커널 추정 오차 0.015를 기록하였으며, 로그우도 -37.91을 달성하여 모든 기준 기법을 능가하였다.
• 케이스 2에서는 가장 높은 로그우도(96.85)와 가장 낮은 유도 커널 추정 오차(0.002)를 기록하여 우수한 적합도를 보였다.
• 실세계 데이터 세트에서 EMV는 차량 충돌 데이터에서 71.7%의 예측 정확도를, 택시 승차 데이터에서 70.4%의 정확도를 기록하여 PH(60.6%) 및 WH(67.3%)와 비교해 뚜렷한 승리를 거두었다.
• Q-Q 플롯 분석 결과, EMV의 모델 적합도가 이상적인 대각선선에 가장 가까웠으며, 이는 비균일 포isson 프로세스나 고정 기저 강도를 가진 모델보다 더 우수한 校정성(정확도)을 가짐을 확인하였다.
• 폐형 도함수와 차원 감소 기법을 통해 EMV 알고리즘이 기본 변분 추론 대비 20-30% 빠른 성능을 보였으며, 이는 대규모 응용 분야에서 실용적이게 만들었다.