[논문 리뷰] Self-Attentive Hawkes Processes

Qiang Zhang, Aldo Lipani외 2명|arXiv (Cornell University)|2019. 07. 17.

Morphological variations and asymmetry참고 문헌 47인용 수 23

한 줄 요약

이 논문은 비동기적이고 다중 모odal이며 상호 연관된 이벤트 시계열을 모델링하기 위해 자기주의 어텐션 메커니즘을 활용하는 Self-Attentive Hawkes Process (SAHP)를 제안한다. 이는 RNN 기반 대안 대비 예측 정확도와 해석 가능성에서 향상된다. 표준 위치 임베딩 대신 시간에 민감한 단일 함수 시리즈를 사용함으로써, 이벤트 간 간격을 포착하고, 더 정확한 강도 모델링을 가능하게 하며, 학습된 어텐션 가중치를 통해 해석 가능한 동료 영향 패턴을 드러낸다.

ABSTRACT

Asynchronous events on the continuous time domain, e.g., social media actions and stock transactions, occur frequently in the world. The ability to recognize occurrence patterns of event sequences is crucial to predict which typeof events will happen next and when. A de facto standard mathematical framework to do this is the Hawkes process. In order to enhance expressivity of multivariate Hawkes processes, conventional statistical methods and deep recurrent networks have been employed to modify its intensity function. The former is highly interpretable and requires small size of training data but relies on correct model design while the latter has less dependency on prior knowledge and is more powerful in capturing complicated patterns. We leverage pros and cons of these models and propose a self-attentive Hawkes process(SAHP). The proposed method adapts self-attention to fit the intensity function of Hawkes processes. This design has two benefits:(1) compared with conventional statistical methods, the SAHP is more powerful to identify complicated dependency relationships between temporal events; (2)compared with deep recurrent networks, the self-attention mechanism is able to capture longer historical information, and is more interpretable because the learnt attention weight tensor shows contributions of each historical event. Experiments on four real-world datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 자기주의 어텐션 메커니즘이 자연어 처리에서 효과를 보인 바가 있음을 감안할 때, 이 메커니즘이 Hawkes 과정에서 비동기적이고 다중 모달이며 상호 연관된 이벤트 시계열을 모델링하는 데 효과적인가를 조사한다.
• 기존 자기주의 어텐션의 한계를 해결한다. 즉, 표준 위치 임베딩이 이벤트 간 실제 시간 간격을 忽略한다는 점이다.
• 이벤트 간 간격을 삼각함수의 단위 이동으로 변환하는 새로운 시간 이동 위치 임베딩 방법을 개발한다.
• 어떤 이벤트 유형이 다른 이벤트 유형에 미치는 영향을 어텐션 가중치를 통해 드러내어 모델의 해석 가능성을 향상시킨다.
• SAHP가 기존의 RNN 기반 모델 및 표준 Hawkes 과정 모델보다 예측 정확도와 적합도 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• 이벤트 간 간격을 삼각함수의 단위 이동으로 표현하는 방식으로 위치 임베딩을 수정함으로써, 자기주의 어텐션 메커니즘을 연속 시간 이벤트 시계열에 적용한다.
• 쿼리-키-밸류 상호작용을 기반으로 과거 이벤트가 다음 이벤트의 강도에 미치는 영향을 스케일드 도트-곱 어텐션을 사용해 계산한다.
• 시간에 민감한 위치 인코딩을 사용하여 삼각함수의 단위 이동이 이벤트 간 간격에 비례하도록 하여 시간 역학을 유지한다.
• Hawkes 과정의 조건부 강도 함수를 과거 이벤트의 영향력의 가중합으로 모델링하며, 어텐션 가중치는 상대 기여도를 나타낸다.
• 이벤트 시계열에 대해 최대우도추정법을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 이벤트 유형과 시점 예측을 동시에 최적화한다.
• 다양한 이벤트 유형 간 어텐션 가중치를 분석하고 시각화하여 통계적 영향 패턴을 드러내어 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 자기주의 어텐션 메커니즘이 복잡하고 비동기적이며 다중 모달인 이벤트 시계열을 시간 포인트 과정에서 효과적으로 모델링할 수 있는가?
• RQ2 기존 자기주의 어텐션을 어떻게 수정하여 시간 정보, 특히 연속 시간 이벤트 모델링에서 핵심적인 이벤트 간 간격을 유지할 수 있는가?
• RQ3 제안된 시간 이동 위치 임베딩이 표준 삼각함수 또는 학습 가능한 위치 임베딩 대비 Hawkes 과정에서 모델 성능을 향상시키는가?
• RQ4 제안된 모델의 어텐션 가중치가 서로 다른 이벤트 유형 간 의미 있는 해석 가능한 동료 영향 패턴을 드러내는가?
• RQ5 Self-Attentive Hawkes Process는 예측 정확도와 모델 적합도 측면에서 RNN 기반 및 표준 Hawkes 과정 모델보다 어떻게 비교되는가?

주요 결과

• Self-Attentive Hawkes Process (SAHP)는 하나의 합성 데이터셋과 네 개의 실세계 데이터셋에서 모두 적합도와 다음 이벤트 예측 작업에서 최첨단 RNN 기반 모델 및 표준 Hawkes 모델을 능가하는 뛰어난 성능을 달성한다.
• 제안된 시간 이동 위치 임베딩 방법은 이벤트 간 간격을 삼각함수의 단위 이동으로 변환함으로써 효과적으로 인코딩하며, 이는 모델 표현력 향상에 기여한다.
• SAHP의 어텐션 가중치는 모델이 과거 동일 유형의 이벤트(대각선 어텐션)에 주로 집중하는 경향이 있음을 보여주며, 이는 이벤트 시계열에서 자기 자극 패턴을 반영한다.
• 비대각선 어텐션 패턴, 예를 들어 'Constituent'와 'Caucus' 사이 또는 'Boosters and Enlightened'와 'Publicist' 사이의 패턴은 실세계 시계열에서의 공존 패턴을 반영하며 통계적으로 유의미한 교차 유형 영향을 나타낸다.
• 어텐션 가중치가 다른 이벤트 유형에 대한 기여도를 직접적으로 드러내므로, RNN 기반 모델 대비 더 높은 해석 가능성을 보이며, 동료 영향의 분석을 명확히 할 수 있다.
• 실험 결과는 SAHP가 고정 강도나 RNN 기반 Hawkes 과정보다 복잡한 기억 효과와 비가산적 의존성을 더 효과적으로 포착함을 확인한다.