[논문 리뷰] Hypothesis testing for populations of networks

Li Chen, Jie Zhou외 1명|arXiv (Cornell University)|2019. 11. 09.

Complex Network Analysis Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 네트워크의 크기가 크고 희박한 집단에 대해 일반화된 위그너 행렬의 특이값을 기반으로 한 검정 통계량을 사용하는 새로운 가설 검정 프레임워크를 제안한다. 점점 증가하는 노드 수에 따라 귀무분포는 트레이시–위드롬 분포를 따르며, 대립가설 하에서 점점 증가하는 검정력 1을 달성하여 시간에 따라 변화하는 임계값을 갖는 다이나믹 네트워크에서 일致적인 변화점 탐지가 가능하다.

ABSTRACT

It has become an increasingly common practice for scientists in modern science and engineering to collect samples of multiple network data in which a network serves as a basic data object. The increasing prevalence of multiple network data calls for developments of models and theory that can deal with inference problems for populations of networks. In this work, we propose a general procedure for hypothesis testing of networks and in particular, for differentiating distributions of two samples of networks. We consider a very general framework which allows us to perform tests on large and sparse networks. Our contribution is two-fold: (1) We propose a test statistics based on the singular value of a generalized Wigner matrix. The asymptotic null distribution of the statistics is shown to follow the Tracy--Widom distribution as the number of nodes tends to infinity. The test also yields asymptotic power guarantee with the power tending to one under the alternative; (2) The test procedure is adapted for change-point detection in dynamic networks which is proven to be consistent in detecting the change-points. In addition to theoretical guarantees, another appealing feature of this adapted procedure is that it provides a principled and simple method for selecting the threshold that is also allowed to vary with time. Extensive simulation studies and real data analyses demonstrate the superior performance of our procedure with competitors.

연구 동기 및 목표

• 특히 대규모 희박 네트워크인 네트워크 집단에 대한 통계적 추론 방법의 부족을 해결한다.
• 고정된 노드 수를 가정하지 않는 일반적인 가설 검정 절차를 개발한다.
• 검정 통계량의 점점 증가하는 귀무분포와 대립가설 하에서의 검정력에 대한 이론적 보장을 제공한다.
• 시간에 따라 변화하는 네트워크 변화를 갖는 다이나믹 네트워크에서의 변화점 탐지로 방법을 확장한다.
• 실제 네트워크 데이터 분석에 적용 가능한 계산적으로 실현 가능하고 이론적으로 타당한 접근법을 제공한다.

제안 방법

• 네트워크 인접행렬에서 구성된 일반화된 위그너 행렬의 최대 특이값을 기반으로 한 검정 통계량을 제안한다.
• 노드 수가 무한대에 가까워질 때 검정 통계량의 점점 증가하는 귀무분포가 트레이시–위드롬 분포가 됨을 규명한다.
• 대립가설 하에서 검정 통계량이 점점 증가하는 검정력 1을 달성함을 증명하여 높은 탐지 확률을 보장한다.
• 임계값을 시간에 따라 변화시킬 수 있도록 허용함으로써 다이나믹 네트워크에서의 변화점 탐지에 검정을 적응시킨다.
• 트레이시–위드롬 점점 증가하는 분포를 활용하여 근거 있는, 데이터 기반의 임계값 선택 방법을 유도한다.
• 성능 검증을 위해 시뮬레이션 및 실제 네트워크 데이터 세트에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 노드 수가 무한대에 가까워질수록, 특히 대규모 희박 네트워크인 경우에도 유효한 네트워크 집단에 대한 가설 검정 방법을 개발할 수 있는가?
• RQ2 제안된 검정 통계량이 알려진 점점 증가하는 귀무분포를 갖는가? 이를 통해 정확한 p-값 계산이 가능한가?
• RQ3 대립가설 하에서 두 네트워크 집단 간의 차이를 탐지할 수 있을 정도로 충분히 강력한가?
• RQ4 시간에 따라 변화하는 네트워크 구조를 갖는 다이나믹 네트워크에서 변화점 탐지로 방법을 확장할 수 있는가?
• RQ5 교차검증이나 수동 조정 없이도 근거 있고 적응 가능한 임계값 선택 방법을 유도할 수 있는가?

주요 결과

• 제안된 검정 통계량의 점점 증가하는 귀무분포는 노드 수가 증가함에 따라 트레이시–위드롬 분포로 수렴한다.
• 대립가설 하에서 검정 통계량은 점점 증가하는 검정력 1을 달성하여, 네트워크 집단 간의 차이를 확률이 1에 가까워질 정도로 정확히 탐지함을 의미한다.
• 이 방법은 대규모 희박 네트워크에 적용 가능하여 기존 접근법에서의 고정된 노드 수 가정의 한계를 극복한다.
• 변화점 탐지에 적응된 절차는 일致성 있는 성질을 갖는다. 즉, 네트워크 크기가 증가함에 따라 변화점을 높은 확률로 정확히 식별한다.
• 변화점 탐지의 임계값 선택 방법은 근거 있고 시간에 따라 적응 가능한 성질을 지니며, 교차검증이 아닌 트레이시–위드롬 점점 증가하는 분포에 기반한다.
• 광범위한 시뮬레이션과 실제 데이터 분석을 통해 기존의 경쟁 방법들에 비해 가설 검정 및 변화점 탐지 과제에서 뛰어난 성능을 보였다.