[논문 리뷰] Multivariate Hawkes Processes for Large-scale Inference

Rémi Lemonnier, Kevin Scaman외 1명|arXiv (Cornell University)|2016. 02. 26.

Point processes and geometric inequalities인용 수 9

한 줄 요약

이 논문은 저랭크 허크스 프로세스(Low-Rank Hawkes Processes, LRHP)를 소개한다. 이는 촉발 커널의 저랭크 근사 기법을 사용하여 계산 복잡도를 $O(nd^2)$에서 $O(ndr^2)$로 감소시켜 대규모 다변량 포인트 프로세스 추론에 대해 스케일러블한 프레임워크를 제공한다. 여기서 $r \ll d,n$이다. 이 방법은 예측 정확도를 유지하면서도 합리적인 비모수적 학습을 가능하게 하며, 합성 및 실제 데이터셋(대규모 사회적 이벤트 및 금융 데이터 포함)에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we present a framework for fitting multivariate Hawkes processes for large-scale problems both in the number of events in the observed history $n$ and the number of event types $d$ (i.e. dimensions). The proposed Low-Rank Hawkes Process (LRHP) framework introduces a low-rank approximation of the kernel matrix that allows to perform the nonparametric learning of the $d^2$ triggering kernels using at most $O(ndr^2)$ operations, where $r$ is the rank of the approximation ($r \ll d,n$). This comes as a major improvement to the existing state-of-the-art inference algorithms that are in $O(nd^2)$. Furthermore, the low-rank approximation allows LRHP to learn representative patterns of interaction between event types, which may be valuable for the analysis of such complex processes in real world datasets. The efficiency and scalability of our approach is illustrated with numerical experiments on simulated as well as real datasets.

연구 동기 및 목표

• 높은 이벤트 수($n$)와 높은 차원성($d$)을 가진 대규모 데이터셋에서 기존의 다변량 허크스 프로세스 추론 방법의 계산 비가능성을 해결한다.
• 다변량 허크스 프로세스에서 $d^2$개의 촉발 커널에 대한 비모수적 추정을 위한 스케일러블한 프레임워크를 개발한다.
• 커널 행렬의 저랭크 분해를 통해 이벤트 유형 간의 대표적인 상호작용 패턴을 효율적으로 학습할 수 있도록 한다.
• 예측 정확도가 최첨단 수준을 유지하면서도 $n$과 $d$에 대해 선형 시간 복잡도를 달성한다.
• 가용한 네트워크 희소성(예: 인접 행렬 $A$)을 활용하여 구조적 실세계 데이터셋에서의 스케일러비리티를 더욱 향상시킨다.

제안 방법

• $d \times d$ 촉발 커널 행렬의 저랭크 근사를 제안하여 매개변수 수를 $d^2$에서 $O(dr)$로 감소시킨다.
• $d \times r$ 투영 행렬 $P$를 통해 촉발 커널을 $r$개의 지수 기저 함수의 선형 조합으로 모델링한다.
• 소수화-최대화(minorize-maximization) 및 자기일관성 최적화(self-concordant optimization) 기법을 사용하여 $O(ndr^2)$ 복잡도를 가진 효율적인 추론 알고리즘을 유도한다.
• 저랭크 매개변수에 대한 반복 최적화 과정에서 수렴성을 보장하기 위해 보조 함수를 도입한다.
• 상호작용 그래프가 알려져 있을 경우, 인접 행렬 $A$와 같은 네트워크 구조를 활용하여 희소성을 활용해 계산량을 추가로 줄인다.
• 시뮬레이션 및 실제 데이터셋(소셜 미디어 및 금융 거래 데이터 포함)에 알고리즘을 적용하여 스케일러비리티와 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 촉발 커널 행렬의 저랭크 근사를 통해 다변량 허크스 프로세스 추론의 계산 복잡도를 크게 감소시킬 수 있을까? 이때 예측 정확도에 손상이 가지 않는가?
• RQ2 실제 고차원 데이터셋에서 저랭크 구조는 이벤트 유형 간의 대표적인 상호작용 패턴을 얼마나 잘 포착할 수 있는가?
• RQ3 기존의 $O(nd^2)$ 복잡도를 가진 최첨단 방법 대비, 제안된 LRHP 알고리즘이 큰 $n$과 $d$에 대해 얼마나 잘 스케일링되는가?
• RQ4 소셜 미디어 이벤트 스트림 및 금융 거래 로그와 같은 실세계 데이터셋에서 알고리즘이 여전히 높은 성능을 유지하는가?
• RQ5 상호작용 네트워크의 희소성을 효과적으로 활용하여 계산 효율성을 추가로 향상시킬 수 있는가?

주요 결과

• LRHP 알고리즘은 $O(ndr^2)$의 계산 복잡도를 달성하였으며, 기존 최첨단 방법의 $O(nd^2)$ 복잡도에 비해 뚜렷한 향상이다.
• 합성 데이터셋에서 LRHP는 전체 랭크 방법와 유사한 정확도로 진짜 촉발 커널을 복원하였고, 속도는 수 개의 주기 수준으로 빠르게 성능을 뛰어넘었다.
• MT 3 실세계 데이터셋에서, LRHP는 최고 성능을 보인 베이스라인(MMEL)과 1% 이내의 예측 성능를 달성하였고, 동시에 훨씬 더 빠른 속도를 보였다.
• 저랭크 분해 기법은 MT 3 데이터셋의 경우 학습된 저차원 임bedding을 통해 의미 있는 이벤트 유형 간 상호작용 패턴을 성공적으로 포착하였다.
• 기본 상호작용 네트워크가 제공될 경우, 알고리즘은 희소성을 완전히 활용하여 계산 시간을 추가로 감소시켰고, 더 큰 그래프에 대한 스케일러비리티를 가능하게 하였다.
• 실증 결과는 LRHP가 다양한 데이터셋(소셜 미디어 및 금융 거래 로그 포함)에서 고정밀도 추론 및 예측 정확도를 유지하면서도 큰 $n$과 $d$에 대해 잘 스케일링됨을 확인하였다.