[논문 리뷰] Orthogonal symmetric non-negative matrix factorization under the stochastic block model

Subhadeep Paul, Yuguo Chen|arXiv (Cornell University)|2016. 05. 17.

Complex Network Analysis Techniques참고 문헌 43인용 수 10

한 줄 요약

이 논문은 스토케스틱 블록 모델(SBM)과 디그리-수정 스토케스틱 블록 모델(DCSBM) 하에서 네트워크의 커뮤니티 탐지에 대해 정규화된 라플라시안 행렬의 직교 대칭 비음수 행렬 삼분해(осNTF)를 제안한다. 최적화를 통한 근사화와 불변 부분공간과의 연결을 통해 이 방법은 이론적 일致성을 확보하며, 희박하고 이질적인 네트워크, 정치적 블로그 및 카라테 클럽과 같은 벤치마크 네트워크에서 스펙트럴 클러스터링과 최신 기법들을 능가한다.

ABSTRACT

We present a method based on the orthogonal symmetric non-negative matrix tri-factorization of the normalized Laplacian matrix for community detection in complex networks. While the exact factorization of a given order may not exist and is NP hard to compute, we obtain an approximate factorization by solving an optimization problem. We establish the connection of the factors obtained through the factorization to a non-negative basis of an invariant subspace of the estimated matrix, drawing parallel with the spectral clustering. Using such factorization for clustering in networks is motivated by analyzing a block-diagonal Laplacian matrix with the blocks representing the connected components of a graph. The method is shown to be consistent for community detection in graphs generated from the stochastic block model and the degree corrected stochastic block model. Simulation results and real data analysis show the effectiveness of these methods under a wide variety of situations, including sparse and highly heterogeneous graphs where the usual spectral clustering is known to fail. Our method also performs better than the state of the art in popular benchmark network datasets, e.g., the political web blogs and the karate club data.

연구 동기 및 목표

• 희박성과 이질성 하에서도 효과적인 성능을 유지하는 복잡한 네트워크를 대상으로 한 강건한 커뮤니티 탐지 방법을 개발하는 것.
• 스토케스틱 블록 모델(SBM)과 디그리-수정 스토케스틱 블록 모델(DCSBM) 하에서 이론적 일관성을 확립하는 것.
• 스펙트럴 클러스터링의 한계를 극복하기 위해 비음수 행렬 분해를 활용하여 희박하고 이질적인 그래프에서의 성능을 향상시키는 것.
• 기존의 클러스터링 방법들에 비해 이론적으로 탄탄하고 해석 가능하며 계산적으로 실현 가능한 네트워크 분석의 대안을 제공하는 것.

제안 방법

• 이 방법은 정규화된 그래프 라플라시안 행렬에 직교 대칭 비음수 행렬 삼분해(OSNTF)를 적용한다.
• 비음수성과 직교성 제약 조건 하에서 프로베니우스 노름을 최소화하는 최적화 문제를 설정하여 라플라시안의 근사 분해를 계산한다.
• 분해는 불변 부분공간의 비음수 기저와 연결되며, 스펙트럴 클러스터링과 유사한 관계를 형성한다.
• 편차 이론(Davis-Kahan 정리)을 활용하여 추정된 부분공간 요소와 진짜 요소 간의 차이를 한계화한다.
• 라플라시안 행렬의 스펙트럴 갭과의 관계를 통해 분해 오차를 이론적으로 분석함으로써 일관성을 확립한다.
• 시뮬레이션 연구와 벤치마크 네트워크에서의 실제 데이터 분석을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 정규화된 라플라시안의 OSNTF는 스토케스틱 블록 모델(SBM) 하에서 일관된 커뮤니티 탐지가 가능한가?
• RQ2 희박하고 이질적인 네트워크에서 제안된 방법은 스펙트럴 클러스처링보다 어떻게 성능을 냈는가?
• RQ3 스펙트럴 클러스터링이 실패할 경우 비음수 분해 프레임워크는 진짜 커뮤니티 구조를 복원할 수 있는가?
• RQ4 분해된 구성요소와 라플라시안 행렬의 불변 부분공간 사이의 이론적 관계는 무엇인가?
• RQ5 실제 세계의 네트워크 데이터셋에서 최신 알고리즘들을 능가하는가?

주요 결과

• 이 방법은 스토케스틱 블록 모델(SBM)과 디그리-수정 스토케스틱 블록 모델(DCSBM) 하에서 커뮤니티 탐지에 대해 이론적 일관성을 확보한다.
• 스펙트럴 클러스터링이 실패하는 것으로 알려진 희박하고 극도로 이질적인 그래프에서 표준 스펙트럴 클러스터링을 능가한다.
• 정치적 블로그 및 카라테 클럽 네트워크와 같은 벤치마크 데이터셋에서 최신 알고리즘보다 더 높은 클러스터링 정확도를 달성한다.
• 편차 분석 결과, 분해 오차는 스펙트럴 갭의 역수로 제한되며, 이는 커뮤니티 구조의 안정적 복원을 보장한다.
• 추정된 요소와 진짜 요소 간의 프로베니우스 노름은 라플라시안의 제일 작은 양의 고유값의 제곱에 반비례하는 항으로 제한된다.
• 인cidense 행렬이 희박하거나 도수 분포가 극도로 이질적인 경우에도 커뮤니티 구조를 성공적으로 식별한다.