[논문 리뷰] Constant State of Change: Engagement Inequality in Temporal Dynamic Networks

Hadar Miller, Osnat Mokryn|arXiv (Cornell University)|2019. 10. 03.

Complex Network Analysis Techniques참고 문헌 68인용 수 18

한 줄 요약

이 논문은 네트워크 크기나 노드 식별자 또는 이력 데이터를 사전에 알 필요 없이, 코모고로프-스미르노프(Kolmogorov-Smirnov, KS) 거리 기반으로 차수 분포의 변화를 분석하여 구조적 전환점을 탐지하는 크기 무관이고 온라인인 변화점 탐지 프레임워크를 제안한다. 이 프레임워크는 Enron 이메일 데이터셋에서 높은 정밀도(0.9)와 재현율(0.9)을 달성하며, 합성 네트워크와 실제 네트워크 모두에서 기존 방법들을 능가한다.

ABSTRACT

The temporal changes in complex systems of interactions have excited the research community in recent years as they encompass understandings on their dynamics and evolution. From the collective dynamics of organizations and online communities to the spreading of information and fake news, to name a few, temporal dynamics are fundamental in the understanding of complex systems. In this work, we quantify the level of engagement in dynamic complex systems of interactions, modeled as networks. We focus on interaction networks for which the dynamics of the interactions are coupled with that of the topology, such as online messaging, forums, and emails. We define two indices to capture the temporal level of engagement: the Temporal Network (edge) Intensity index, and the Temporal Dominance Inequality index. Our surprising results are that these measures are stationary for most measured networks, regardless of vast fluctuations in the size of the networks in time. Moreover, more than 80% of weekly changes in the indices values are bounded by less than 10%. The indices are stable between the temporal evolution of a network but are different between networks, and a classifier can determine the network the temporal indices belong to with high success. We find an exception in the Enron management email exchange during the year before its disintegration, in which both indices show high volatility throughout the inspected period.

연구 동기 및 목표

• 네트워크 크기나 노드 식별자에 대한 사전 지식 없이도 변화하는 시간적 네트워크의 구조적 변화를 탐지하는 것.
• 다양한 네트워크 크기와 동적 노드 집합에 대해 강건한 실시간 온라인 프레임워크를 개발하는 것.
• Enron과 AskUbuntu와 같은 실세계 데이터셋을 포함한 합성 네트워크와 실세계 데이터셋에서 프레임워크의 성능을 평가하는 것.
• 기존의 거리 측도(KL, RH)와 비교하여 차수 분포의 변화를 탐지하는 데 있어 제안된 방법의 성능을 평가하는 것.
• p-값 기반 가설 검정을 통해 점진적인 변화를 탐지할 수 있도록 민감도 조절 기능을 제공하는 것.

제안 방법

• 시간에 따라 변화하는 네트워크 스냅샷의 차수 분포를 분석하기 위해 슬라이딩 윈도우 방식을 사용한다.
• 연속된 윈도우 간의 차수 분포를 비교하기 위해 코모고로프-스미르노프(Kolmogorov-Smirnov, KS) 통계적 검정을 적용하고, 변화의 유의미성을 나타내는 p-값을 계산한다.
• 데이터 기반 임계값을 사용한 가설 검정을 통해 임의의 변동과 진정한 변화점 간을 구분한다.
• 이론적 분포를 피팅하거나 노드 수를 사전에 알 필요 없이 온라인 운영이 가능하다.
• KS, KL, RH 등의 다수의 거리 측도를 비교하기 위해 지원하며, 중간 크기의 네트워크에서 KS가 가장 우수한 성능을 보였다.
• 각 네트워크 스냅샷을 차수 분포로 간주함으로써, 노드 수의 변동에 관계없이 크기 무관 분석이 가능하다.

실험 결과

연구 질문

• RQ1 네트워크 크기나 노드 식별자에 대한 사전 지식 없이도 변화점 탐지 프레임워크가 효과적으로 작동할 수 있는가?
• RQ2 다양한 네트워크 모델(Erdős–Rényi, 소월드 등)에서 차수 분포의 변화를 탐지하는 데 있어 프레임워크의 성능은 어떠한가?
• RQ3 KS, KL, RH 거리 측도 중 어느 것이 변화하는 네트워크에서 구조적 변화를 탐지하는 데 상대적으로 더 우수한 성능을 보이는가?
• RQ4 p-값 임계값을 조절함으로써 갑작스러운 변화 외에도 점진적인 변화를 탐지할 수 있는가?
• RQ5 지표가 있는 실세계 데이터셋에서 기존 방법과 비교해 정밀도와 재현율 측면에서 프레임워크의 성능은 어떠한가?

주요 결과

• Enron 이메일 데이터셋의 14개의 알려진 변화점 중 13개를 탐지하는 데 90%의 정밀도와 90%의 재현율을 달성했다.
• 후행적으로 잘못 탐지한 경우가 없는 GHRG 기반 방법 [3]과 비교해도 정밀도와 재현율에서 모두 뛰어난 성능을 보였다.
• 합성 Erdős–Rényi(ER) 및 커브먼 네트워크에서 KS 기반 프레임워크는 KL 및 RH 측도보다 뛰어난 탐지 성능을 보였다.
• KS 거리 측도는 중간 크기의 네트워크에서 가장 효과적이었고, RH는 긴 尾 distribution에서 더 우수한 성능을 보였다.
• 갑작스러운 변화뿐 아니라 점진적인 추세 변화도 성공적으로 탐지하였으며, p-값 임계값 조절을 통해 민감도를 조절할 수 있었다.
• 프레임워크는 온라인 작동이 가능하고 크기 무관하며, 이력 데이터나 노드 식별자 추적 없이 작동하므로 실시간 응용에 적합하다.