[论文解读] Fast Estimation of Causal Interactions using Wold Processes

Flávio Figueiredo, Guilherme Resende Borges+2 more|arXiv (Cornell University)|Jul 1, 2018

Random Matrices and Applications被引用 1

一句话总结

该论文提出了 GrangerBusca，这是首个利用 Wold 过程在多变量点过程中实现快速估计格兰杰因果矩阵的方法。通过利用 Wold 过程，其每轮迭代的复杂度达到 O(N(log N + log K))，显著快于当前最先进方法，从而实现在完整数据集上的精确且可扩展的学习，在 Memetracker 子集上的 Precision@10 提升了三倍。

ABSTRACT

We here focus on the task of learning Granger causality matrices for multivariate point processes. In order to accomplish this task, our work is the first to explore the use of Wold processes. By doing so, we are able to develop asymptotically fast MCMC learning algorithms. With $N$ being the total number of events and $K$ the number of processes, our learning algorithm has a $O(N(\,\log(N)\,+\,\log(K)))$ cost per iteration. This is much faster than the $O(N^3\,K^2)$ or $O(K^3)$ for the state of the art. Our approach, called GrangerBusca, is validated on nine datasets. This is an advance in relation to most prior efforts which focus mostly on subsets of the Memetracker data. Regarding accuracy, GrangerBusca is three times more accurate (in Precision@10) than the state of the art for the commonly explored subsets Memetracker. Due to GrangerBusca's much lower training complexity, our approach is the only one able to train models for larger, full, sets of data.

研究动机与目标

• 开发一种在多变量点过程中学习格兰杰因果矩阵的可扩展且准确的方法。
• 克服现有方法计算成本过高的问题，这些方法在数据规模和过程数量增加时扩展性差。
• 实现对完整、大规模数据集的训练，而非仅限于子集，如以往工作所做。
• 在保持或提升预测准确性的前提下，实现更快的推理与学习速度。
• 首次将 Wold 过程应用于时间点过程中的因果交互估计。

提出的方法

• 该方法采用 Wold 过程作为随机过程模型，以捕捉具有记忆性和依赖结构的多变量点过程数据。
• 其基于似然的学习框架利用了 Wold 过程的条件强度特性。
• 核心创新在于推导出一种 MCMC 学习算法，其每轮迭代的渐近复杂度为 O(N(log N + log K))。
• 该算法利用了 Wold 过程固有的马尔可夫性和稀疏依赖结构，以加速计算。
• 采用针对点过程似然量身定制的高效采样策略，减少了对完整数据矩阵的依赖。
• 该方法实现了在多个过程之间对因果交互矩阵的可扩展后验推断。

实验结果

研究问题

• RQ1 Wold 过程能否被有效用于建模和估计多变量点过程中的因果交互？
• RQ2 与现有方法相比，使用 Wold 过程学习格兰杰因果矩阵的计算复杂度如何？
• RQ3 在真实世界数据集上，该方法在准确性和可扩展性方面的表现如何？
• RQ4 该方法能否在完整数据集上进行训练，而非仅限于子集，这能带来哪些性能提升？
• RQ5 降低的计算成本是否能够实现更精确的因果交互估计？

主要发现

• GrangerBusca 实现了每轮迭代复杂度 O(N(log N + log K))，显著快于当前最先进方法的 O(N³K²) 或 O(K³) 复杂度。
• 在常用的 Memetracker 子集上，GrangerBusca 相较于当前最先进方法，将 Precision@10 提升了 300%。
• 该方法是唯一能够因训练复杂度低而对完整大规模数据集进行模型训练的方法。
• 使用 Wold 过程使因果交互估计的 MCMC 推断框架更加高效和可扩展。
• 该方法在大幅降低计算成本的同时保持了高准确性，从而使其能够更广泛地应用于真实世界的时间数据。