[논문 리뷰] Generalized Hypergeometric Ensembles: Statistical Hypothesis Testing in Complex Networks

Giona Casiraghi, Vahan Nanumyan외 2명|arXiv (Cornell University)|2016. 07. 08.

Data Visualization and Analytics참고 문헌 1인용 수 14

한 줄 요약

이 논문은 유한하고 방향성 있으며 가중치가 부여된 네트워크를 위한 분석적으로 다룰 수 있는 새로운 통계적 집합인 일반화된 하이퍼기하 분포 집합을 소개한다. 이론적 틀은 이원관계 링크 성향을 통합함으로써 기대값과 공분산의 정확한 계산을 가능하게 하여 엄밀한 통계적 가설 검정을 허용한다. 이를 통해 degree-only null 모델을 기각하고, Zachary의 카레이트 클럽과 같은 실제 네트워크에서 공동체 구조 가설을 지지하는 결과를 도출하였다.

ABSTRACT

Statistical ensembles of networks, i.e., probability spaces of all networks that are consistent with given aggregate statistics, have become instrumental in the analysis of complex networks. Their numerical and analytical study provides the foundation for the inference of topological patterns, the definition of network-analytic measures, as well as for model selection and statistical hypothesis testing. Contributing to the foundation of these data analysis techniques, in this Letter we introduce generalized hypergeometric ensembles, a broad class of analytically tractable statistical ensembles of finite, directed and weighted networks. This framework can be interpreted as a generalization of the classical configuration model, which is commonly used to randomly generate networks with a given degree sequence or distribution. Our generalization rests on the introduction of dyadic link propensities, which capture the degree-corrected tendencies of pairs of nodes to form edges between each other. Studying empirical and synthetic data, we show that our approach provides broad perspectives for model selection and statistical hypothesis testing in data on complex networks.

연구 동기 및 목표

• 고전적인 구성 모델을 일반화하는 통계적으로 엄밀하고 분석적으로 다룰 수 있는 네트워크 집합 프레임워크를 개발하는 것.
• 기존 집합의 한계—ERGM에서의 다루기 어려운 분할 함수와 생성 모델에서의 제약된 제약 조건—을 해결하여 정확한 통계적 추론을 가능하게 하는 것.
• 네트워크 패턴, 특히 공동체 구조와 차수 이질성에 대한 가설 검정을 지원하는 null 모델 프레임워크를 제공하는 것.
• 유한하고 가중치가 있으며 방향성이 있는 네트워크에서 핵심 통계량에 대한 닫힌 형태의 표현식을 사용하여 모델 선택 및 유의성 검정을 가능하게 하는 것.
• 생성 모델과 지수임의그래프모델 사이의 격차를 메우기 위해 분석적 다루기 쉬운 성질을 유지하면서도 위상 패턴 모델링의 유연성을 유지하는 것.

제안 방법

• 고정된 기대 차수 시퀀스를 갖는 유한하고 방향성이며 가중치가 있는 네트워크를 위한 생성 모델을 제안하며, 인접행렬에 대한 일반화된 하이퍼기하 분포를 사용한다.
• 노드 쌍 간의 간선 형성 경향을 보다 일반화하기 위해 이원관계 링크 성향(Ω_ij)을 도입하여 기존 구성 모델의 균일한 간선 확률을 일반화한다.
• 집합 하에서 인접행렬의 기대값과 공분산 행렬에 대한 닫힌 형태의 표현식을 유도하여 네트워크 통계량의 분석적 처리를 가능하게 한다.
• 실험 네트워크가 집합에서 얼마나 떨어져 있는지를 측정하기 위해 Mahalanobis 거리 D₀²(A)를 검정 통계량으로 사용하며, 근사적으로 귀무가설 하에서 χ² 분포를 따른다.
• 분석적 해가 다루기 어려운 경우, 생성 모델의 단순성에 기반하여 샘플링 기반으로 p-값을 추정한다.
• 다음과 같은 귀무가설을 검정하기 위해 프레임워크를 적용한다: (1) 네트워크는 오직 차수 시퀀스로 설명된다(구성 모델), (2) 블록 구조를 갖는 Ω_ij를 가진 공동체 구조가 네트워크를 설명한다(스토케스틱 블록 유사 모델).

실험 결과

연구 질문

• RQ1 방향성과 가중치가 있는 네트워크로 일반화된 구성 모델을 유지하면서 분석적으로 다룰 수 있는 통계적 집합을 구성할 수 있는가?
• RQ2 이원관계 링크 성향은 차수 시퀀스를 초월하여 고차원 위상 패턴을 어느 정도 잘 포괄할 수 있는가?
• RQ3 이 집합 프레임워크를 통해 정확하거나 근사적인 p-값을 사용하여 실제 네트워크에서 엄밀한 통계적 가설 검정을 수행할 수 있는가?
• RQ4 Zachary의 카레이트 클럽 네트워크에서 공동체 구조는 차수 이질성과 블록 구조 간선 성향 외의 요인으로 인해 통계적으로 유의미한가?
• RQ5 이 집합에서 기대값과 공분산에 대한 분석적 표현식은 유한한 복잡한 네트워크에서의 모델 선택과 추론을 어떻게 지원하는가?

주요 결과

• 일반화된 하이퍼기하 분포 집합은 기대 인접행렬과 그 공분산 행렬에 대해 닫힌 형태의 표현식을 제공하여 네트워크 통계량의 분석적 처리를 가능하게 한다.
• 카레이트 클럽 네트워크의 경우, 오직 차수 시퀀스로 네트워크를 설명하는 귀무가설에 대한 p-값은 약 0이었으며, 이는 이 귀무가설을 기각함을 의미한다.
• 블록 구조를 갖는 이원관계 링크 성향(공동체 기반)을 가진 귀무모델을 검정했을 때 p-값은 0.158367이었으며, 이는 귀무가설을 기각하지 못했고 공동체 구조가 네트워크 위상 구조를 설명하는 데 기여한다는 것을 시사한다.
• 두 집합에서의 랜덤 실현과의 시각적 비교를 통해 공동체 구조 모델이 차수만을 고려한 모델보다 네트워크 위상 구조를 더 잘 포괄하고 있음을 확인하였다.
• Mahalanobis 거리를 사용하여 네트워크 패턴의 통계적 검정이 가능하며, 특정 조건 하에서 점근적으로 χ² 분포를 따르므로 공식적인 추론을 지원한다.
• 이 방법은 ERGM과 생성 모델의 대안으로서 분석적 다루기 쉬운 성질을 유지하면서도 이원관계 성향을 통한 위상 제약 모델링의灵活性를 제공한다.