[논문 리뷰] Community models for networks observed through edge nominations

Tianxi Li, Elizaveta Levina외 1명|arXiv (Cornell University)|2020. 08. 09.

Complex Network Analysis Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 간선 노티피케이션(노드가 자신의 연결을 보고하는 방식)을 통해 수집된 네트워크에서 커뮤니티 탐지에 대한 일반 모델을 제안하며, 표본 추출 편향과 누락 데이터를 고려한다. 이는 효율적인 스펙트럴 클러스터링과 모멘트 방법에 기반한 추정을 가능하게 하는 노티피케이션 스토케스틱 블록 모델(NSBM)을 도입하여 이론적 일致성 보장을 제공하며, 시뮬레이션과 미국의 비즈니스 스쿨 간 교수 채용 네트워크를 통해 검증된다. 이 네트워크에서는 의미 있는 계층적 구조가 드러난다.

ABSTRACT

Communities are a common and widely studied structure in networks, typically under the assumption that the network is fully and correctly observed. In practice, network data are often collected by querying nodes about their connections. In some settings, all edges of a sampled node will be recorded, and in others, a node may be asked to name its connections. These sampling mechanisms introduce noise and bias which can obscure the community structure and invalidate assumptions underlying standard community detection methods. We propose a general model for a class of network sampling mechanisms based on recording edges via querying nodes, designed to improve community detection for network data collected in this fashion. We model edge sampling probabilities as a function of both individual preferences and community parameters, and show community detection can be performed by spectral clustering under this general class of models. We also propose, as a special case of the general framework, a parametric model for directed networks we call the nomination stochastic block model, which allows for meaningful parameter interpretations and can be fitted by the method of moments. Both spectral clustering and the method of moments in this case are computationally efficient and come with theoretical guarantees of consistency. We evaluate the proposed model in simulation studies on both unweighted and weighted networks and apply it to a faculty hiring dataset, discovering a meaningful hierarchy of communities among US business schools.

연구 동기 및 목표

• 노드의 간선 노티피케이션 방식으로 수집된 네트워크에서 커뮤니티 탐지를 다루기 위해, 이로 인해 발생하는 편향과 누락 데이터를 고려한다.
• 개별 노티피케이션 선호도와 커뮤니티 구조를 동시에 고려하는 통계적으로 타당한 모델을 개발한다.
• 이 표본 추출 메커니즘 하에서 커뮤니티 탐지에 대해 계산적으로 효율적이고 이론적으로 일관된 방법을 제공한다.
• 시뮬레이션과 실제 네트워크(예: 교수 채용 네트워크 포함)에서 기존 표준 방법에 비해 본 방법의 우수성을 입증한다.
• 노티피케이션 편향을 보정함으로써 실제 데이터에서 해석 가능한 커뮤니티 구조를 드러낸다.

제안 방법

• 노드별 선호도와 커뮤니티 소속도를 고려한 간선 노티피케이션 확률을 갖는 일반 모델을 제안한다.
• 유 directed 네트워크에 대해 해석 가능한 매개변수를 갖는 특수한 파라미터 모델로 노티피케이션 스토케스틱 블록 모델(NSBM)을 도입한다.
• 이론적 일관성 보장을 갖는 보정된 인cidenc 행렬에 대한 스펙트럴 클러스터링을 통해 커뮤니티를 탐지한다.
• MCMC나 변분 추론을 피하기 위해, NSBM 매개변수를 효율적으로 추정하기 위해 모멘트 방법을 적용한다.
• 무게 없는 네트워크와 무게가 있는 네트워크를 모두 모델링하여 이질적인 노티피케이션 행동을 수용한다.
• 가정된 모델 하에서 잠재적 커뮤니티 구조를 복원하기 위해 관측된 노티피케이션 행렬을 변환한다.

실험 결과

연구 질문

• RQ1 완전한 관찰이 아닌 노드 간선 노티피케이션 방식으로 네트워크 데이터를 수집할 경우, 커뮤니티 탐지 성능을 어떻게 향상시킬 수 있는가?
• RQ2 노티피케이션 편향(누락된 간선이 노드 및 커뮤니티 특성에 따라 달라지는 현상)이 기존 커뮤니티 탐지 방법에 어떤 영향을 미치는가?
• RQ3 노티피케이션 행동과 커뮤니티 구조를 모두 포괄하고 해석 가능한 매개변수를 갖는 파라미터 모델을 개발할 수 있는가?
• RQ4 이 모델 하에서 스펙트럴 클러스터링과 모멘트 방법 추정의 일관성과 계산 효율성은 어떻게 평가되는가?
• RQ5 실제 데이터(예: 교수 채용 네트워크)에 이 모델을 적용했을 때 어떤 계층적 커뮤니티 구조가 드러나는가?

주요 결과

• 제안된 NSBM 모델은 미국 비즈니스 스쿨의 교수 채용 네트워크에서 의미 있는 계층적 구조를 성공적으로 복원하였으며, Clauset 등(2015)의 이전 관찰과 일치한다.
• NSBM 프레임워크 하에서의 스펙트럴 클러스터링은 무방향 네트워크의 표준 대칭 스펙트럴 클러스터링보다 성능이 뛰어나며, 커뮤니티 평균 순위에서 유의미한 차이를 보였다(예: US News 2012 기준 19.2 대비 55.1).
• 모멘트 방법은 MCMC나 변분 추론을 피하면서도 NSBM의 일관된 매개변수 추정을 제공하여 계산 효율성을 확보한다.
• 무게 없는 네트워크와 무게가 있는 네트워크에 대한 시뮬레이션을 통해 본 방법의 강건성과 다양한 노티피케이션 메커니즘 하에서의 정확도 향상을 확인하였다.
• 보정된 모델을 사용한 커뮤니티 탐지에서는 이해 가능한 군집이 드러나지만, 표준 방법은 유사한 평균 순위를 보이는 임의의 군집을 생성한다.
• 노티피케이션 메커니즘을 忽시할 경우 커뮤니티 탐지의 정확도가 크게 떨어지고 효율성도 손실된다는 점을 이 프레임워크가 입증한다.