[논문 리뷰] Community models for partially observed networks from surveys

Tianxi Li, Elizaveta Levina외 1명|arXiv (Cornell University)|2020. 08. 09.

Complex Network Analysis Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 설문 기반 샘플링으로 부분적으로 관측된 네트워크에서 커뮤니티 탐지에 대한 일반 모델을 제안하며, 개인의 선호도와 커뮤니티 구조를 통해 간선 샘플링 확률를 모델링한다. 이는 일관된 스펙트럴 클러스터링과 방향성 네트워크를 위한 파arametric nomination 스토케스틱 블록 모델을 가능하게 하며, 이론적 보장과 함께 모멘트의 방법을 통한 효율적 추정을 제공한다.

ABSTRACT

Communities are a common and widely studied structure in networks, typically under the assumption that the network is fully and correctly observed. In practice, network data are often collected through sampling schemes such as surveys. These sampling mechanisms introduce noise and bias which can obscure the community structure and invalidate assumptions underlying standard community detection methods. We propose a general model for a class of network sampling mechanisms based on survey designs, designed to enable more accurate community detection for network data collected in this fashion. We model edge sampling probabilities as a function of both individual preferences and community parameters, and show community detection can be done by spectral clustering under this general class of models. We also propose, as a special case of the general framework, a parametric model for directed networks we call the nomination stochastic block model, which allows for meaningful parameter interpretations and can be fitted by the method of moments. Both spectral clustering and the method of moments in this case are computationally efficient and come with theoretical guarantees of consistency. We evaluate the proposed model in simulation studies on both unweighted and weighted networks and apply it to a faculty hiring dataset, discovering a meaningful hierarchy of communities among US business schools.

연구 동기 및 목표

• 설문을 통한 데이터 수집이 편향과 노이즈를 유도하는 네트워크에서 커뮤니티 탐지의 과제를 해결한다.
• 개별 선호도와 커뮤니티 소속을 함수로 하는 간선 샘플링 확률를 모델링하는 일반적인 통계 프레임워크를 개발한다.
• 표준 커뮤니티 탐지 방법의 한계를 극복하고 설문 샘플링 메커니즘 하에서 일관된 커뮤니티 탐지를 가능하게 한다.
• 해석 가능한 파ram터와 효율적 추정을 허용하는 방향성 네트워크를 위한 파라미터 모델—노미네이션 스토케스틱 블록 모델을 제안한다.
• 제안된 프레임워크 하에서 스펙트럴 클러스터링과 모멘트의 방법 추정에 대한 이론적 일관성 보장을 제공한다.

제안 방법

• 개별 수준의 선호도와 커뮤니티 배정을 함수로 간선 샘플링 확률를 모델링하여 설문 응답 행동의 이질성을 포착한다.
• 설문 설계에서 유래한 샘플링 메커니즘을 포함하는 일반적인 네트워크 샘플링 모델을 제안하며, 스토케스틱 블록 모델을 확장한다.
• 제안된 모델 하에서 관측된 샘플링된 네트워크에 스펙트럴 클러스터링을 적용하고, 약한 정규성 조건 하에서 일관성을 증명한다.
• 방향성 네트워크를 위한 특수한 경우로 노미네이션 스토케스틱 블록 모델을 제안하여 해석 가능한 파라미터 추정을 가능하게 한다.
• 모멘트의 방법을 사용해 모델 파라미터를 효율적으로 추정하며, 이론적 일관성 보장을 제공한다.
• 스펙트럴 클러스터링과 모멘트의 방법을 통합하여 설문 기반 샘플링된 네트워크에서의 커뮤니티 탐지에 대한 통합 프레임워크를 구축한다.

실험 결과

연구 질문

• RQ1 설문 샘플링이 편향과 누락된 간선을 유도하는 상황에서 커뮤니티 탐지가 어떻게 신뢰성 있게 수행될 수 있는가?
• RQ2 개별 선호도와 커뮤니티 구조에 모두 의존하는 간선 샘플링 확률를 통계적으로 타당하게 모델링하는 방법은 무엇인가?
• RQ3 이러한 일반적인 네트워크 샘플링 모델 클래스 하에서 스펙트럴 클러스터링이 여전히 일관성 있는가?
• RQ4 해석 가능한 파라미터와 효율적 추정을 가능하게 하는 방향성 네트워크를 위한 파라미터 모델을 어떻게 구성할 수 있는가?
• RQ5 설문 샘플링 메커니즘 하에서 제안된 추정 방법의 이론적 일관성 특성은 무엇인가?

주요 결과

• 제안된 모델은 일반적인 설문 기반 샘플링 메커니즘 하에서 스펙트럴 클러스터링을 통한 일관된 커뮤니티 탐지를 가능하게 한다.
• 노미네이션 스토케스틱 블록 모델은 효율적 모멘트의 방법 추정을 허용하는 파라미터화된 해석 가능한 프레임워크를 제공한다.
• 노미네이션 스토케스틱 블록 모델에 대한 모멘트의 방법 추정기는 제안된 샘플링 모델 하에서 일관성 있다.
• 시뮬레이션 연구는 다양한 샘플링 설계 하에서 가중치가 없는 네트워크와 가중치가 있는 네트워크 모두에서 정확한 커뮤니티 복원을 보여준다.
• 교수 채용 데이터셋에의 응용은 미국의 비즈니스 스쿨들 사이에 의미 있는 계층적 구조를 드러내며, 모델의 실증적 유용성을 검증한다.
• 이론적 분석은 제안된 모델 가정 하에서 스펙트럴 클러스터링과 모멘트의 방법 추정이 모두 일관성 있음을 확인한다.