[논문 리뷰] On Mixed Memberships and Symmetric Nonnegative Matrix Factorizations

Xueyu Mao, Purnamrita Sarkar외 1명|arXiv (Cornell University)|2016. 07. 01.

Complex Network Analysis Techniques참고 문헌 26인용 수 10

한 줄 요약

이 논문은 모델 기반 혼합 소속 스트로크 블록 모델(MMSB)과 대칭 비음수 행렬 분해(SNMF)를 연결함으로써 네트워크 내에서 혼합 소속 커뮤니티 탐지를 위한 증명 가능하게 일관된 알고리즘인 GeoNMF를 제안한다. MMSB 하에서 고유한 SNMF 해가 존재하는 충분한 조건을 확립하고, GeoNMF가 넓은 파rameter 영역에서 높은 확률로 노드의 소속 관계와 커뮤니티 간 상호작용 행렬을 최적의 일관된 방식으로 복원함을 보여주며, 이는 시뮬레이션 및 실세계 네트워크에서 검증되었다.

ABSTRACT

The problem of finding overlapping communities in networks has gained much attention recently. Optimization-based approaches use non-negative matrix factorization (NMF) or variants, but the global optimum cannot be provably attained in general. Model-based approaches, such as the popular mixed-membership stochastic blockmodel or MMSB (Airoldi et al., 2008), use parameters for each node to specify the overlapping communities, but standard inference techniques cannot guarantee consistency. We link the two approaches, by (a) establishing sufficient conditions for the symmetric NMF optimization to have a unique solution under MMSB, and (b) proposing a computationally efficient algorithm called GeoNMF that is provably optimal and hence consistent for a broad parameter regime. We demonstrate its accuracy on both simulated and real-world datasets.

연구 동기 및 목표

• 모델 기반 MMSB와 최적화 기반 SNMF를 융합하여 겹치는 커뮤니티 탐지 문제를 해결한다.
• SNMF가 MMSB에 대해 고유한 해를 갖는 데 필요한 충분한 조건을 설정한다.
• 노드 소속 관계와 커뮤니티 간 상호작용을 증명 가능하게 일관되게 복원할 수 있는 계산적으로 효율적인 알고리즘을 개발한다.
• 검증할 수 없는 가정에 의존하지 않고도 넓은 파rameter 영역에서 추정의 일관성을 확보한다.

제안 방법

• 스펙트럼 클러스터링과 비음수 행렬 분해를 결합한 기하학적 초기화를 사용하는 이중 단계 알고리즘인 GeoNMF를 제안한다.
• 이웃 행렬의 낮은 랭크 분해를 통해 진정한 커뮤니티 구조를 근사하는 기하학적 초기화를 사용한다.
• 추정된 확률 행렬 P에 대해 대칭 비음수 행렬 분해(SNMF)를 적용하여 비음수성과 대칭성을 보장한다.
• 요소 순열에 영향을 받지 않는 손실 함수를 사용하여 분해된 행렬이 커뮤니티 순열을 제외한 진짜 노드 소속 행렬과 일치하도록 한다.
• 노드 소속 벡터와 커뮤니티 간 상호작용 행렬의 복원 오차에 대해 고확률 오차 한계를 유도한다.
• 집중 불등식과 난수 행렬 이론을 활용하여 비독립 동일분포가 아닌 노드 소속 조건을 포함한 일반 조건 하에서도 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 MMSB 모델 하에서 대칭 SNMF가 고유한 해를 갖는 조건은 무엇인가?
• RQ2 계산적으로 효율적인 알고리즘이 MMSB에서 노드 소속 관계와 커뮤니티 상호작용 행렬을 증명 가능하게 일관되게 복원할 수 있는가?
• RQ3 네트워크 크기와 커뮤니티 구조에 따라 노드 소속 행렬의 추정 오차는 어떻게 변화하는가?
• RQ4 일관성을 확보하기 위해 필요한 가정은 무엇이며, 기존 방법들과 비교해 볼 때 어떻게 다른가?
• RQ5 높은 겹침과 희박한 네트워크 조건에서도 알고리즘이 정확성을 유지할 수 있는가?

주요 결과

• 노드 소속 행렬의 복원 오차 한계는 $ O_P\left(\frac{K^{5/2}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho}\right) $이며, 상대 오차는 $ O_P\left(\frac{K^{3}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho\sqrt{n}}\right) $이다.
• 비독립 동일분포가 아닌 노드 소속과 일반적인 커뮤니티 상호작용 행렬을 포함한 넓은 파rameter 영역에서 알고리즘이 증명 가능하게 일관된다.
• 커뮤니티 상호작용 행렬 요소의 추정 오차는 높은 확률로 유계이며, 이는 커뮤니티 수준의 상호작용에 대한 신뢰할 수 있는 추론을 가능하게 한다.
• GeoNMF는 시뮬레이션 및 실세계 네트워크에서 변분 추론과 스펙트럼 방법보다 정확도에서 뛰어나다.
• 기존의 증명 가능한 방법들과 달리 앵커 노드나 B의 대각성분이 동일하다는 검증할 수 없는 가정에 의존하지 않는다.
• 이론적 분석을 통해 네트워크 크기가 증가함에 따라 알고리즘이 진짜 파라미터로 수렴함을 확인하였다. 이는 높은 겹침과 희박성 조건에서도 성립한다.