[论文解读] Counting Causal Paths in Big Times Series Data on Networks

Luka V. Petrović, Ingo Scholtes|arXiv (Cornell University)|May 27, 2019

Complex Network Analysis Techniques参考文献 18被引用 4

一句话总结

本文提出一种流式算法，以高效计算大规模时间戳网络数据中的因果路径，通过滑动窗口方法实现与时间戳链接数量的线性可扩展性。该方法在运行时间上优于基线开源实现，支持可变时间窗口和路径长度，能够实现对时序网络的可扩展分析。

ABSTRACT

Graph or network representations are an important foundation for data mining and machine learning tasks in relational data. Many tools of network analysis, like centrality measures, information ranking, or cluster detection rest on the assumption that links capture direct influence, and that paths represent possible indirect influence. This assumption is invalidated in time-stamped network data capturing, e.g., dynamic social networks, biological sequences or financial transactions. In such data, for two time-stamped links (A,B) and (B,C) the chronological ordering and timing determines whether a causal path from node A via B to C exists. A number of works has shown that for that reason network analysis cannot be directly applied to time-stamped network data. Existing methods to address this issue require statistics on causal paths, which is computationally challenging for big data sets. Addressing this problem, we develop an efficient algorithm to count causal paths in time-stamped network data. Applying it to empirical data, we show that our method is more efficient than a baseline method implemented in an OpenSource data analytics package. Our method works efficiently for different values of the maximum time difference between consecutive links of a causal path and supports streaming scenarios. With it, we are closing a gap that hinders an efficient analysis of big time series data on complex networks.

研究动机与目标

• 形式化时间戳网络数据中因果路径计数的问题，其中路径的有效性取决于时间顺序和时间约束。
• 解决现有方法在因果路径计数中计算瓶颈的问题，该瓶颈限制了高阶网络模型在大数据中的应用。
• 开发一种与流式处理兼容的算法，实现与数据规模、最大时间差δ和最大路径长度K的高效可扩展性。
• 与开源包中实现的基线算法相比，展示更优的运行时间性能。

提出的方法

• 该算法将因果路径建模为时间戳链接序列(s,d,t)，其中每个后续链接发生在前一个链接之后，并且时间差不超过最大时间差δ。
• 通过在时间戳链接上使用滑动窗口机制，增量计算最大长度为K的因果路径。
• 该方法维护一个动态数据结构，跟踪每个节点结束的活跃路径，并在流式处理中新链接到达时更新这些路径。
• 对于每个新链接(s,d,t)，该算法扩展所有在时间窗口δ内且长度小于K的、在节点s结束的有效路径。
• 通过仅允许满足t_{i+1} > t_i且t_{i+1} - t_i ≤ δ的路径，确保时间上的有效性。
• 输出为长度不超过K的因果路径总数，计算复杂度与时间戳链接数量呈线性关系。

实验结果

研究问题

• RQ1 如何在尊重时间顺序和时间约束的前提下，高效计算大规模时间戳网络数据中的因果路径？
• RQ2 因果路径计数的计算复杂度如何随数据规模、最大时间差δ和最大路径长度K变化？
• RQ3 所提出的流式算法在性能上与现有基线方法相比如何？
• RQ4 该算法能否在流式场景中高效应用，并扩展到真实世界的大数据集？

主要发现

• 所提出的算法在时间戳链接数量N上表现出线性可扩展性，与理论分析一致。
• 运行时间随最大时间差δ线性增长，而基线算法表现出超线性增长，导致在δ值较大时不可行。
• 在所有测试的数据规模下，该算法均优于基线开源实现，所有N值下运行时间均更低。
• 路径长度K的指数级增长在输出大小中被观察到，与理论复杂度一致，反映了可能路径的组合增长。
• 当δ = 30分钟且K = 4时，该算法处理完整个RealityMining数据集（N = 1,086,404条链接）所用时间显著少于基线算法，后者因运行时间过长而无法在δ > 30分钟时完成实验。
• 该方法支持流式部署，适用于时序网络数据的实时分析，而基线方法需要对整个数据集进行批处理。