[논문 리뷰] Network Cross-Validation for Determining the Number of Communities in Network Data

Kehui Chen, Jing Lei|arXiv (Cornell University)|2014. 11. 06.

Complex Network Analysis Techniques참고 문헌 36인용 수 11

한 줄 요약

이 논문은 블록 단위의 노드 쌍 분할 기법을 사용하여 네트워크 데이터에서 커뮤니티 수를 선택하는 계산적으로 효율적이고 튜닝이 필요 없는 방법인 네트워크 교차검증(NCV)을 제안한다. 미묘한 조건 하에서 네트워크 크기가 증가함에 따라 NCV는 커뮤니티의 과소선택을 일관되게 피하는 것으로 증명되었으며, 시뮬레이션 및 실제 데이터 예제에서 기존 방법보다 뛰어난 성능을 보였다.

ABSTRACT

The stochastic block model and its variants have been a popular tool in analyzing large network data with community structures. In this paper we develop an efficient network cross-validation (NCV) approach to determine the number of communities, as well as to choose between the regular stochastic block model and the degree corrected block model. The proposed NCV method is based on a block-wise node-pair splitting technique, combined with an integrated step of community recovery using sub-blocks of the adjacency matrix. We prove that the probability of under selection vanishes as the number of node increases, under mild conditions satisfied by a wide range of popular community recovery algorithms. The solid performance of our method is also demonstrated in extensive simulations and a data example.

연구 동기 및 목표

• K의 사전 지식이 필요 없이 스트로크 블록 모형에서 커뮤니티 수를 선택하는 데 지속적인 과제를 해결하기 위해.
• 모델 선택 방법을 계산적으로 효율적이면서도 접합 수를 제외한 튜닝 파rameter가 없는 방식으로 개발하기 위해.
• 일반적인 조건 하에서 인기 있는 커뮤니티 복원 알고리즘에 적용 가능한 커뮤니티 수 선택의 이론적 일관성을 확립하기 위해.
• 기존의 정규화된 스토케스틱 블록 모형과 도수 보정된 스토케스틱 블록 모형을 구별할 수 있도록 방법을 확장하기 위해.

제안 방법

• NCV는 블록 단위의 노드 쌍 분할 전략을 사용한다: 노드들이 두 그룹으로 나뉘며, 한 그룹에서 다른 모든 그룹으로의 간선은 피팅에 사용되고, 두 번째 그룹 내부의 간선은 테스트에 사용된다.
• 교차검증 기간 동안 노드 소속을 고정된 파라미터로 간주함으로써, 피팅 세트에서 커뮤니티별 간선 확률을 일관되게 추정할 수 있다.
• 이웃한 블록의 커뮤니티 복원과 V-겹 교차검증 프레임워크를 결합하여 K의 후보 값들에 대해 모델 성능을 평가한다.
• 피팅 세트와 테스트 세트 사이의 조건부 독립성(커뮤니티 소속을 조건으로 하여)을 활용함으로써 유효한 모델 평가를 보장한다.
• 이 방법은 스펙트럴 클러스터링과 모듈라리티 최적화와 같은 다양한 커뮤니티 탐지 알고리즘과 조합할 수 있는 일반성과 유연성을 갖춘다.
• 이론적 분석 결과, 복원 알고리즘에 대한 미묘한 규칙성 조건 하에서 n → ∞ 일 때 과소선택의 확률이 0으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 네트워크 데이터에 대해 교차검증 프레임워크를 적응시켜 계산적으로 효율적이고 이론적으로 타당한 방식으로 커뮤니티 수를 선택할 수 있는가?
• RQ2 네트워크 크기가 증가함에 따라 제안된 NCV 방법이 진짜 커뮤니티 수의 과소선택을 높은 확률로 피할 수 있는가?
• RQ3 블록 단위의 노드 쌍 분할 전략은 노드 단위의 분할이나 다른 교차검증 설계에 비해 모델 선택 성능을 어떻게 향상시키는가?
• RQ4 NCV는 표준 스토케스틱 블록 모형과 도수 보정된 블록 모형을 신뢰성 있게 구별할 수 있는가?
• RQ5 다양한 커뮤니티 복원 알고리즘에 대해 NCV가 일관된 커뮤니티 수 선택을 달성하는 데 필요한 이론적 조건은 무엇인가?

주요 결과

• 노드 수가 증가함에 따라 미묘한 규칙성 조건 하에서 커뮤니티 수의 과소선택 확률은 0으로 수렴한다.
• NCV는 계산적으로 효율적이며, 각 폴드당 한 번의 모델 피팅만 필요하고, 접합 수를 제외한 튜닝이 필요 없다.
• 이 방법은 스펙트럴 클러스터링과 모듈라리티 기반 최적화를 포함한 다양한 인기 있는 알고리즘에서 일관된 커뮤니티 복원을 달성한다.
• 이론적 분석 결과, 추정된 커뮤니티 구조는 높은 확률로 진짜 구조와 일치하며, 오직 O(√(n/αₙ))개 이하의 노드를 제외한 나머지는 일치한다.
• 추정된 간선 확률 행렬은 진짜 값으로 수렴하며, 간선 확률 추정치의 차이는 o(n⁻¹/³)이므로 신뢰할 수 있는 모델 평가가 보장된다.
• 실증 결과는 시뮬레이션과 실제 데이터 예제에서 강력한 성능을 보이며, 강인성과 실용적 유용성을 입증한다.