[논문 리뷰] Counting Causal Paths in Big Times Series Data on Networks

Luka V. Petrović, Ingo Scholtes|arXiv (Cornell University)|2019. 05. 27.

Complex Network Analysis Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 시간이 할당된 네트워크 데이터에서 인과적 경로를 효율적으로 세는 스트리밍 알고리즘을 제안한다. 이 알고리즘은 시간이 할당된 링크의 수에 대해 선형 확장성을 유지하기 위해 슬라이딩 윈도우 방식을 활용한다. 제안된 방법은 베이스라인 오픈소스 구현보다 런타임에서 뛰어난 성능을 보이며, 가변적인 시간 윈도우와 경로 길이를 지원하여 시간적 네트워크의 확장 가능한 분석을 가능하게 한다.

ABSTRACT

Graph or network representations are an important foundation for data mining and machine learning tasks in relational data. Many tools of network analysis, like centrality measures, information ranking, or cluster detection rest on the assumption that links capture direct influence, and that paths represent possible indirect influence. This assumption is invalidated in time-stamped network data capturing, e.g., dynamic social networks, biological sequences or financial transactions. In such data, for two time-stamped links (A,B) and (B,C) the chronological ordering and timing determines whether a causal path from node A via B to C exists. A number of works has shown that for that reason network analysis cannot be directly applied to time-stamped network data. Existing methods to address this issue require statistics on causal paths, which is computationally challenging for big data sets. Addressing this problem, we develop an efficient algorithm to count causal paths in time-stamped network data. Applying it to empirical data, we show that our method is more efficient than a baseline method implemented in an OpenSource data analytics package. Our method works efficiently for different values of the maximum time difference between consecutive links of a causal path and supports streaming scenarios. With it, we are closing a gap that hinders an efficient analysis of big time series data on complex networks.

연구 동기 및 목표

• 시간이 할당된 네트워크 데이터에서 경로의 유효성이 순서와 시간 제약 조건에 따라 달라지는 인과적 경로 수를 수식적으로 정의하는 것.
• 기존 방법에서 인과적 경로 수를 세는 데 있어 발생하는 계산 병목 현상을 해결하여 고차원 네트워크 모델이 대규모 데이터에 적용되는 것을 가능하게 하는 것.
• 데이터 크기, 최대 시간 차이 δ, 최대 경로 길이 K에 대해 효율적으로 확장 가능한 스트리밍 호환 알고리즘을 개발하는 것.
• 시간적 네트워크 분석을 위한 오픈소스 패키지에 구현된 베이스라인 알고리즘 대비 뛰어난 런타임 성능을 입증하는 것.

제안 방법

• 알고리즘은 각 후속 링크가 이전 링크 이후에 발생하고 최대 시간 차이 δ 이내여야 하는 조건을 만족하는 시간이 할당된 링크 (s,d,t) 의 순서로 인과적 경로를 모델링한다.
• 최대 경로 길이 K까지의 인과적 경로를 순차적으로 계산하기 위해 시간이 할당된 링크에 대해 슬라이딩 윈도우 메커니즘을 적용한다.
• 새로운 링크가 스트리밍 방식으로 도착함에 따라 각 노드에서 끝나는 활성 경로를 추적하는 동적 데이터 구조를 유지한다.
• 각 새로운 링크 (s,d,t) 에 대해, 시간 윈도우 δ 내에 있고 길이가 K 이하인 s에서 끝나는 모든 유효한 경로를 연장한다.
• 알고리즘은 t_{i+1} > t_i 이고 t_{i+1} - t_i ≤ δ 라는 조건을 만족함으로써 순서의 타당성을 보장한다.
• 출력은 최대 길이 K까지의 인과적 경로 총 수이며, 계산 복잡도는 시간이 할당된 링크의 수에 대해 선형이다.

실험 결과

연구 질문

• RQ1 시간 순서와 시간 제약 조건을 고려하면서 대규모 시간이 할당된 네트워크 데이터에서 인과적 경로를 효율적으로 세는 방법은 무엇인가?
• RQ2 데이터 크기, 최대 시간 차이 δ, 최대 경로 길이 K에 따라 인과적 경로 수를 세는 데 드는 계산 복잡도는 어떻게 변하는가?
• RQ3 제안된 스트리밍 알고리즘이 기존의 베이스라인 방법에 비해 성능 면에서 어떻게 비교되는가?
• RQ4 이 알고리즘은 스트리밍 환경에서 효율적으로 적용되고 실세계의 대규모 데이터 세트에 대해 확장 가능한가?

주요 결과

• 제안된 알고리즘은 시간이 할당된 링크 수 N에 대해 선형 확장성을 보이며, 이는 이론적 분석을 확인한다.
• 런타임은 최대 시간 차이 δ에 따라 선형적으로 증가하지만, 베이스라인 알고리즘은 초선형 증가를 보이며, 이는 큰 δ 값에서는 실행이 불가능하다는 것을 의미한다.
• 모든 테스트된 데이터 크기에서 제안된 알고리즘이 베이스라인 오픈소스 구현보다 뛰어난 성능을 보이며, 모든 N 값에서 일관되게 낮은 런타임을 기록한다.
• 경로 길이 K에 따른 지수적 확장은 출력 크기에서 관찰되며, 이는 이론적 복잡도와 일치하며 가능한 경로의 조합적 증가를 반영한다.
• δ = 30분이고 K = 4일 경우, 알고리즘이 전체 RealityMining 데이터 세트(N = 1,086,404개 링크)를 베이스라인보다 훨씬 빠르게 처리한다. 베이스라인은 δ = 30분을 초과하면 실행 시간이 지나치게 길어져 실험이 불가능했다.
• 이 방법은 스트리밍 배포를 지원하며 실시간 시간적 네트워크 데이터 분석에 적합한 반면, 베이스라인 방법은 전체 데이터 세트의 배치 처리가 필요로 한다.