[논문 리뷰] Learning Hawkes Processes from a Handful of Events

Farnood Salehi, William Trouleau외 2명|arXiv (Cornell University)|2019. 11. 01.

Point processes and geometric inequalities인용 수 12

한 줄 요약

이 논문은 짧은 이벤트 시계열에서 다변량 하크스 프로세스를 학습하기 위한 변분 기대최대화 알고리즘을 제안하며, 다수의 초매개변수에 대한 효율적 최적화와 사후 분포를 통한 모델 매개변수 불확실성 모델링을 가능하게 한다. 이는 소규모 데이터 환경에서 최신 기법들을 크게 능가하면서도 대규모 데이터셋에서도 뛰어난 성능을 유지한다.

ABSTRACT

Learning the causal-interaction network of multivariate Hawkes processes is a useful task in many applications. Maximum-likelihood estimation is the most common approach to solve the problem in the presence of long observation sequences. However, when only short sequences are available, the lack of data amplifies the risk of overfitting and regularization becomes critical. Due to the challenges of hyper-parameter tuning, state-of-the-art methods only parameterize regularizers by a single shared hyper-parameter, hence limiting the power of representation of the model. To solve both issues, we develop in this work an efficient algorithm based on variational expectation-maximization. Our approach is able to optimize over an extended set of hyper-parameters. It is also able to take into account the uncertainty in the model parameters by learning a posterior distribution over them. Experimental results on both synthetic and real datasets show that our approach significantly outperforms state-of-the-art methods under short observation sequences.

연구 동기 및 목표

• 단기 관측 시계열만 제공될 때 다변량 하크스 프로세스에서 인과적 상호작용 네트워크를 학습하는 데 도전하는 것.
• 데이터 부족 상황에서 표준 최대우도 추정법의 한계를 극복하여 과적합과 부적절한 정규화 문제가 심각한 문제로 떠오르는 상황을 해결하는 것.
• 단일 공유 매개변수에 의존하는 것과는 달리, 확장된 초매개변수 집합에 대해 최적화함으로써 민감하고 고차원적인 정규화를 가능하게 하는 것.
• 모델 불확실성을 매개변수에 대한 사후 분포를 학습하여 인과 그래프에서 간선 식별의 신뢰도를 제공함으로써 통합하는 것.
• 전염병 모델링, 금융 이벤트 예측, 사회망 동역학과 같은 소규모 데이터 응용 분야에서의 성능 향상

제안 방법

• 모델 매개변수를 사전 분포를 가진 잠재 변수로 간주하여 하크스 프로세스 학습 문제를 베이지안 추론 과제로 재구성하는 것.
• 흥분 행렬과 초매개변수에 대한 변분 분포를 사용하여 진짜 사후분포를 근사하는 변분 추론 프레임워크를 개발하는 것.
• 증거 하한값(ELBO) 최대화를 통해 초매개변수 최적화를 수행하는 M단계와 사후분포 추정을 수행하는 E단계를 번갈아가며 수행하는 변분 기대최대화(V-EM) 알고리즘을 설계하는 것.
• 흥분 행렬의 각 원소에 대해 별도의 초매개변수를 갖는 유연한 사전 구조를 도입하여 개별화된 정규화를 가능하게 하는 것.
• 변분 매개변수와 초매개변수에 대한 ELBO의 기울기를 효율적으로 계산하기 위해 확률적 최적화를 사용하는 것.
• 특히 소규모 데이터 환경에서 간선 탐지의 신뢰도 평가를 위해 사후 근사의 분산을 활용하여 불확실성 정량화를 통합하는 것.

실험 결과

연구 질문

• RQ1 최대우도 방법과 비교해 볼 때, 변분 기대최대화 접근법이 짧은 데이터 환경에서 다변량 하크스 프로세스의 학습 성능을 향상시킬 수 있는가?
• RQ2 단일 공유 초매개변수 정규화에 비해, 다수의 개별화된 초매개변수에 대해 최적화함으로써 더 나은 모델 표현력과 일반화 성능을 달성할 수 있는가?
• RQ3 매개변수 불확실성을 사후 분포를 통해 모델링함으로써 데이터가 부족한 상황에서 간선 식별의 신뢰성은 향상될 수 있는가?
• RQ4 에볼라 전염병 및 주식 가격 변동과 같은 이벤트 수가 제한된 실세계 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 소규모 데이터 시나리오에서 뛰어난 성능을 발휘하면서도 대규모 데이터셋에서도 강력한 성능을 유지하는가?

주요 결과

• 54개 지자체에서 총 5,349건의 이벤트만 존재하는 에볼라 전염병 데이터셋에서, 제안된 VI-SG 방법은 예측 로그우도 -2.06을 달성하여 MLE-SGLP의 -3.03을 크게 앞서갔다.
• 7,089건의 이벤트가 존재하는 주식시장 데이터셋에서, VI-SG는 예측 로그우도 -1.00을 기록하여 MLE-SGLP의 -2.45와 다른 기준들보다 뛰어난 성능을 보였다.
• 74,294건의 이벤트가 존재하는 엔론 이메일 데이터셋에서, VI-EXP 버전은 -0.23의 예측 로그우도를 기록하여 MLE-ADM4의 -0.40을 초월했다.
• 학습된 인과 그래프에서 가짜 양성 간선는 진짜 양성 간선보다 높은 불확실성(가중치에 대한 표준편차로 측정)을 보였으며, 이는 데이터 부족 상황에서 신뢰할 수 있는 간선 식별 능력을 갖춘 방법임을 확인한다.
• 기본 진짜 흥분 행렬에서 진짜 간선에 대해 최적화된 사전 초매개변수 α 값이 비간선에 비해 유의미하게 더 높게 나타나 효과적인 정규화가 이루어졌음을 시사한다.
• 대규모 데이터 환경에서도 강력한 성능을 유지하여, 소규모 데이터 성과를 포기하지 않으면서도 다양한 데이터 스케일에서의 강인함을 입증했다.