[논문 리뷰] Fast Estimation of Causal Interactions using Wold Processes

Flávio Figueiredo, Guilherme Resende Borges외 2명|arXiv (Cornell University)|2018. 07. 01.

Random Matrices and Applications인용 수 1

한 줄 요약

이 논문은 다변량 포인트 프로세스에서 그랜저 인과 행렬을 빠르게 추정하기 위해 월드 과정(Wold processes)을 사용하는 최초의 방법인 GrangerBusca를 소개한다. 월드 과정을 활용함으로써 반복당 시간 복잡도가 O(N(log N + log K))로 감소하여 최신 기술 대비 현저히 빠르며, 전체 데이터셋에 대한 정확하고 확장 가능한 학습을 가능하게 하며, Memetracker 서브셋에서 Precision@10이 3배 향상된다.

ABSTRACT

We here focus on the task of learning Granger causality matrices for multivariate point processes. In order to accomplish this task, our work is the first to explore the use of Wold processes. By doing so, we are able to develop asymptotically fast MCMC learning algorithms. With $N$ being the total number of events and $K$ the number of processes, our learning algorithm has a $O(N(\,\log(N)\,+\,\log(K)))$ cost per iteration. This is much faster than the $O(N^3\,K^2)$ or $O(K^3)$ for the state of the art. Our approach, called GrangerBusca, is validated on nine datasets. This is an advance in relation to most prior efforts which focus mostly on subsets of the Memetracker data. Regarding accuracy, GrangerBusca is three times more accurate (in Precision@10) than the state of the art for the commonly explored subsets Memetracker. Due to GrangerBusca's much lower training complexity, our approach is the only one able to train models for larger, full, sets of data.

연구 동기 및 목표

• 다변량 포인트 프로세스에서 그랜저 인과 행렬을 확장 가능하고 정확하게 학습할 수 있는 방법을 개발하기 위해.
• 기존 방법들이 데이터 크기와 프로세스 수 증가에 따라 성능이 급격히 떨어지는 높은 계산 비용 문제를 해결하기 위해.
• 이전 연구에서 서브셋에만 국한되어 학습하는 것과 달리, 전체 대규모 데이터셋에 대한 학습을 가능하게 하기 위해.
• 유지 또는 향상된 예측 정확도를 유지하면서도 더 빠른 추론과 학습을 달성하기 위해.
• 시간적 포인트 프로세스에서 인과 상호작용 추정에 월드 과정을 새로운 응용으로 도입하기 위해.

제안 방법

• 다변량 포인트 프로세스 데이터의 기억성과 의존성 구조를 표현하기 위해 월드 과정을 스트로스틱 프로세스 모델로 활용한다.
• 월드 과정의 조건부 강도 성질을 활용한 가능도 기반 학습 프레임워크를 수립한다.
• 핵심 혁신은 반복당 점 渐 渐 渐 복잡도가 O(N(log N + log K))인 MCMC 학습 알고리즘을 유도하는 데 있다.
• 월드 과정가 내재한 마르코프성과 희소 의존성 구조를 활용하여 계산을 가속화한다.
• 전체 데이터 행렬에 대한 의존도를 줄이기 위해 포인트 프로세스 가능도에 특화된 효율적 샘플링 전략을 사용한다.
• 이 방법은 다수의 프로세스 간 인과 상호작용 행렬에 대한 확장 가능한 사후 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 월드 과정은 다변량 포인트 프로세스에서 인과 상호작용을 효과적으로 모델링하고 추정하는 데 사용될 수 있는가?
• RQ2 기존 방법과 비교해 월드 과정을 사용한 그랜저 인과 행렬 학습의 계산 복잡도는 어떠한가?
• RQ3 실제 세계 데이터셋에서 제안된 방법의 정확도와 확장성은 어떠한가?
• RQ4 이 방법은 서브셋이 아닌 전체 데이터셋에서 학습이 가능한가? 이로 인해 어떤 성능 향상이 이루어지는가?
• RQ5 저감된 계산 비용은 인과 상호작용 추정의 정확도 향상에 기여하는가?

주요 결과

• GrangerBusca는 반복당 시간 복잡도가 O(N(log N + log K))로, 최신 기술의 O(N³K²) 또는 O(K³) 복잡도보다 현저히 빠르다.
• 일반적으로 사용되는 Memetracker 서브셋에서 GrangerBusca는 현재 최고 기술 대비 Precision@10을 300% 향상시켰다.
• 낮은 학습 복잡도 덕분에 이 방법은 유일하게 전체 대규모 데이터셋에서 모델을 학습할 수 있다.
• 월드 과정의 사용은 인과 상호작용 추정을 위한 더 효율적이고 확장 가능한 MCMC 추론 프레임워크를 가능하게 한다.
• 계산 비용을 극적으로 감소시키면서도 높은 정확도를 유지함으로써, 실세계 시간적 데이터에 대한 광범위한 응용을 가능하게 한다.