[논문 리뷰] Spectral and matrix factorization methods for consistent community detection in multi-layer networks

Subhadeep Paul, Yuguo Chen|arXiv (Cornell University)|2017. 04. 24.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 다층 네트워크 커뮤니티 탐지에서 스펙트럴 및 행렬 분해 방법의 이론적 일致성을 다층 스토케스틱 블록모형 하에서 확립한다. 중간 융합 기법—예를 들어 직교 연결 행렬 분해(OLMF)와 공-정규화된 스펙트럴 클러스터링—이 노드 수, 계층 수, 커뮤니티 수가 증가함에 따라 일관된 커뮤니티 복구를 달성함을 증명하며, 고차원 설정 하에서 비점근적 오차 한계가 유도된다.

ABSTRACT

We consider the problem of estimating a consensus community structure by combining information from multiple layers of a multi-layer network using methods based on the spectral clustering or a low-rank matrix factorization. As a general theme, these "intermediate fusion" methods involve obtaining a low column rank matrix by optimizing an objective function and then using the columns of the matrix for clustering. However, the theoretical properties of these methods remain largely unexplored. In the absence of statistical guarantees on the objective functions, it is difficult to determine if the algorithms optimizing the objectives will return good community structures. We investigate the consistency properties of the global optimizer of some of these objective functions under the multi-layer stochastic blockmodel. For this purpose, we derive several new asymptotic results showing consistency of the intermediate fusion techniques along with the spectral clustering of mean adjacency matrix under a high dimensional setup, where the number of nodes, the number of layers and the number of communities of the multi-layer graph grow. Our numerical study shows that the intermediate fusion techniques outperform late fusion methods, namely spectral clustering on aggregate spectral kernel and module allegiance matrix in sparse networks, while they outperform the spectral clustering of mean adjacency matrix in multi-layer networks that contain layers with both homophilic and heterophilic communities.

연구 동기 및 목표

• 중간 융합 방법의 다층 네트워크 커뮤니티 탐지에 대한 이론적 일치성을 확립하기 위해.
• 점차 증가하는 네트워크 차원(노드, 계층, 커뮤니티) 하에서 스펙트럴 클러스터링과 저랭크 행렬 분해의 점근적 행동을 분석하기 위해.
• 프로베니우스 노름 최소화와 같은 목적 함수를 사용한 최적화 기반 다층 네트워크 커뮤니티 탐지에 대한 통계적 보장을 제공하기 위해.
• 중간 융합(예: OLMF, 공-정규화된 스펙트럴 클러스터링)을 후기 융합 기법(예: 평균 인접행렬 또는 커널 행렬에 대한 스펙트럴 클러스터링)과 비교하기 위해.
• 다층 스토케스틱 블록모형 하에서 오차율의 비점근적 오차 한계를 유도하기 위해.

제안 방법

• 공통된 커뮤니티 구조를 다중 계층에서 동시에 추정하기 위해 직교 연결 행렬 분해(OLMF)를 제안하며, 공동 프로베니우스 노름 목적 함수를 최소화한다.
• 클러스터링 구조를 정렬하기 위해 다중 계층에서의 병합 정규화 컷을 최대화하고 부드러움 페널티를 추가한 공-정규화된 스펙트럴 클러스터링을 사용한다.
• 오차율을 스펙트럼 노름 편차를 통해 유계로 만드는 데 Davis-Kahan 정리를 적용한다. 이는 추정된 투영 행렬과 인구 투영 행렬 간의 편차를 기반으로 한다.
• 집중 부등식을 사용하여 경험적 목적 함수와 인구 목적 함수 간의 차이에 대한 고확률 한계를 도출한다.
• 행렬 페르터베이션 이론을 활용하여 추정된 투영 행렬의 편차를 고유값 간격과 노이즈 수준과 연결한다.
• 인구 수준 목적 함수와 그 최적화자를 분석하여 다층 스토케스틱 블록모형 하에서 전역 최적화자의 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 다층 네트워크 커뮤니티 탐지에서 중간 융합 목적 함수의 전역 최적화자가 일관성이 있는 조건은 무엇인가?
• RQ2 희박한 다층 네트워크에서 스펙트럴 클러스터링과 행렬 분해 방법은 후기 융합 기법보다 어떻게 성능이 다른가?
• RQ3 노드 수와 계층 수가 증가하는 다층 네트워크에서 오차율의 비점근적 오차 한계는 무엇인가?
• RQ4 중간 융합 방법의 일관성은 인접행렬의 고유값 간격과 노이즈 수준에 어떻게 의존하는가?
• RQ5 다층 스토케스틱 블록모형 하에서 공-정규화된 스펙트럴 클러스터링과 직교 연결 행렬 분해에 대한 이론적 보장을 확립할 수 있는가?

주요 결과

• 노드 수, 계층 수, 커뮤니티 수가 증가함에 따라 다층 스토케스틱 블록모형 하에서 중간 융합 목적 함수의 전역 최적화자는 일관성이 있다.
• 공-정규화된 스펙트럴 클러스터링의 오차율은 $ r_{av} \leq \frac{256n_{\max}k\bar{\Delta}\log(2n/\epsilon)}{(\lambda^{\bar{\mathcal{A}}})^{2}nM} $ 를 만족하며, 고확률적으로 유계이므로 증가하는 차원 하에서 일관성이 있음을 보여준다.
• 희박한 네트워크와 혼합된 친화성(동질적 및 이질적) 계층을 가진 네트워크에서 중간 융합 방법이 후기 융합 방법(예: 평균 인접행렬에 대한 스펙트럴 클러스터링 또는 집합 커널)보다 성능이 뛰어나다.
• 경험적 목적 함수와 인구 목적 함수 간의 차이는 고확률적으로 $ O\left( kM^{3/4} \bar{\Delta}^{1/2} (M^{1/4} \bar{\Delta}^{1/2} + (\log 2M)^{1/2} (\log n)^{2+\epsilon} \bar{\Delta}^{\prime 1/4}) \right) $ 이하로 유계이므로 최적화의 안정성이 보장된다.
• 오차율은 고유값 간격 $ \lambda^{\bar{\mathcal{A}}} $ 에 의해 제어되며, 더 큰 간격은 더 뛰어난 일관성을 유도한다.
• 이론적 결과는 개별 계층이 노이즈가 많거나 희박한 경우에도 정보 공유 덕분에 OLMF와 공-정규화된 스펙트럴 클러스터링이 일관된 커뮤니티 탐지 성능을 달성할 수 있음을 확인한다.