[논문 리뷰] A Tensor Spectral Approach to Learning Mixed Membership Community Models

Animashree Anandkumar, Rong Ge외 2명|arXiv (Cornell University)|2013. 02. 12.

Tensor decomposition and applications참고 문헌 30인용 수 109

한 줄 요약

이 논문은 노드가 분수형 소속도를 가질 수 있는 혼합 소속 공동체 모델에서 보장된 공동체 탐지에 대한 텐서 스펙트럼 방법을 제안한다. 저순서의 3별 카운트 텐서와 SVD 및 거듭제곱 반복을 통한 스펙트럼 분해를 활용하여, 유한 표본 보장을 갖는 공동체 소속 및 모델 파라미터의 증명 가능 복원을 달성하며, 확률적 블록 모델의 최적 스케일링을 충족한다.

ABSTRACT

Detecting hidden communities from observed interactions is a classical problem. Theoretical analysis of community detection has so far been mostly limited to models with non-overlapping communities such as the stochastic block model. In this paper, we provide guaranteed community detection for a family of probabilistic network models with overlapping communities, termed as the mixed membership Dirichlet model, first introduced in Airoldi et al. (2008). This model allows for nodes to have fractional memberships in multiple communities and assumes that the community memberships are drawn from a Dirichlet distribution. Moreover, it contains the stochastic block model as a special case. We propose a unified approach to learning communities in these models via a tensor spectral decomposition approach. Our estimator uses low-order moment tensor of the observed network, consisting of 3-star counts. Our learning method is based on simple linear algebraic operations such as singular value decomposition and tensor power iterations. We provide guaranteed recovery of community memberships and model parameters, and present a careful finite sample analysis of our learning method. Additionally, our results match the best known scaling requirements for the special case of the (homogeneous) stochastic block model.

연구 동기 및 목표

• 기존 공동체 탐지 방법이 비중첩 공동체를 가정하는 한계를 해결하기 위해.
• 혼합 소속이 있는 중첩 네트워크 모델에서 공동체를 학습하기 위한 이론적으로 보장된 방법을 제공하기 위해.
• 비중첩 모델인 확률적 블록 모델에서의 이론적 보장을 혼합 소속 딜리클 모델과 같은 더 일반적인 모델으로 확장하기 위해.
• 저순서 모멘트 텐서를 기반으로 한 계산적으로 효율적인 학습 알고리즘을 개발하기 위해.

제안 방법

• 이 방법은 네트워크의 고차원 구조의 충분통계량으로 3별 카운트 텐서를 사용한다.
• 관측된 텐서로부터 잠재 공동체 구조를 추출하기 위해 거듭제곱 반복을 통한 텐서 스펙트럼 분해를 적용한다.
• 텐서의 편개행렬에 대한 특이값 분해(SVD)를 활용하여 공동체 소속 벡터를 추정한다.
• 노드 소속을 딜리클 분포에서 샘플링된 것으로 모델링하여 중첩 공동체에 대한 확률적 추론을 가능하게 한다.
• 복잡한 최적화나 샘플링 절차를 피하기 위해 저순서 모멘트만을 사용한다.
• 알고리즘은 확장 가능하며, 유한 표본 분석에 적합하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 혼합 소속이 있는 중첩 네트워크 모델에서 이론적 보장을 갖는 공동체 탐지가 신뢰성 있게 수행될 수 있는가?
• RQ2 저순서 모멘트 텐서는 확률적 네트워크 모델에서 공동체 구조를 어떻게 복원할 수 있는가?
• RQ3 텐서 기반 방법의 유한 표본 성능은 기존 방법과 비교하여 어떻게 되는가?
• RQ4 제안된 방법은 확률적 블록 모델의 특수 케이스에서 최적 스케일링을 달성하는가?
• RQ5 텐서에 대한 스펙트럼 기법이 공동체 소속과 모델 파라미터 양쪽 모두에 대해 일관된 추정을 제공할 수 있는가?

주요 결과

• 제안된 텐서 스펙트럼 방법은 혼합 소속 딜리클 모델 하에서 공동체 소속 및 모델 파라미터의 보장된 복원을 달성한다.
• 네트워크 크기와 공동체 구조에 따라 유리하게 스케일링되는 유한 표본 오차 경계를 제공한다.
• 동질적 확률적 블록 모델의 최고의 알려진 표본 복잡도 스케일링을 충족하여 이 특수 케이스에서의 최적성을 확인한다.
• 3별 카운트 텐서의 사용은 최소한의 고차원 모멘트 계산으로 일관된 추정을 가능하게 한다.
• 알고리즘은 강인하고 계산적으로 효율적이며, SVD와 거듭제곱 반복만을 기반으로 한다.
• 이론적 프레임워크는 중첩 및 비중첩 공동체 구조를 모두 지원하여 이전의 접근법을 통합한다.