[논문 리뷰] Fast Detection of Overlapping Communities via Online Tensor Methods

Furong Huang, U. N. Niranjan외 2명|arXiv (Cornell University)|2013. 09. 03.

Tensor decomposition and applications참고 문헌 16인용 수 31

한 줄 요약

이 논문은 다중선형 스펙트럼 최적화에서 확률적 경사 하강법을 사용하여 대규모 네트워크에서 겹치는 커뮤니티를 빠르고 확장성 있게 탐지하는 텐서 기반 방법을 제안한다. 실제 데이터셋인 Facebook, Yelp, DBLP에서 상태 최적 기법보다 수개의 주기 수준 빠른 속도 향상을 달성하면서도 높은 정확도를 유지한다.

ABSTRACT

We present a fast tensor-based approach for detecting hidden overlapping communities under the Mixed Membership Stochastic Blockmodel (MMSB). We present two implementations, viz., a GPU-based implementation which exploits the parallelism of SIMD architectures and a CPU-based implementation for larger datasets, wherein the GPU memory does not suffice. Our GPU-based implementation involves a careful optimization of storage, data transfer and matrix computations. Our CPU-based implementation involves sparse linear algebraic operations which exploit the data sparsity. We use stochastic gradient descent for multilinear spectral optimization and this allows for flexibility in the tradeoff between node sub-sampling and accuracy of the results. We validate our results on datasets from Facebook, Yelp and DBLP where ground truth is available, using notions of p-values and false discovery rates, and obtain high accuracy for membership recovery. We compare our results, both in terms of execution time and accuracy, to the state-of-the-art algorithms such as the variational method, and report many orders of magnitude gain in the execution time. The tensor method is also applicable for unsupervised learning of a wide range of latent variable models, and we also demonstrate efficient recovery of topics from the New York Times dataset.

연구 동기 및 목표

• 숨겨진 커뮤니티 구조를 가진 대규모 네트워크에서 효율적으로 겹치는 커뮤니티를 탐지하는 과제를 해결한다.
• 대규모 데이터셋에 대한 기존 변분 및 텐서 기반 방법의 계산적 한계를 극복한다.
• 현대 아키텍처의 데이터 희소성과 병렬 처리를 활용하여 확장성 있고 정확한 커뮤니티 탐지 가능성을 제공한다.
• 온라인 최적화를 통해 서브샘플링과 정확도 사이의 탄력적인 트레이드오프를 제공하는 유연한 프레임워크를 구축한다.

제안 방법

• 겹치는 커뮤니티를 위한 기본 생성 모델로 혼합 구성성 확률 블록 모델(MMSB)을 활용한다.
• 대규모 데이터셋에서 온라인 및 누적 학습을 가능하게 하기 위해 확률적 경사 하강법을 통한 다중선형 스펙트럼 최적화를 적용한다.
• SIMD 병렬 처리를 위해 최적화된 메모리 접근, 데이터 전송 및 행렬 연산을 갖춘 GPU 기반 버전을 구현한다.
• GPU 메모리 용량을 초과하는 데이터셋을 처리하기 위해 희소 선형 대수 연산을 활용한 CPU 기반 변종을 개발한다.
• 네트워크 데이터로부터 잠재적인 겹치는 커뮤니티 구조를 드러내기 위해 텐서 분해 기법을 활용한다.
• 온라인 학습을 통한 노드 서브샘플링과 추정 정확도 사이의 탄력적인 트레이드오프를 통합한다.

실험 결과

연구 질문

• RQ1 텐서 기반 방법이 상태 최적 알고리즘보다 겹치는 커뮤니티 탐지에 대해 상당히 더 빠른 실행 시간을 달성할 수 있는가?
• RQ2 기본 커뮤니티 구조가 알려진 실제 네트워크에서 제안된 방법이 진짜 커뮤니티 소속을 얼마나 잘 복원하는가?
• RQ3 GPU 메모리 용량 한계를 초과하는 대규모 데이터셋에 대해 이 방법이 얼마나 스케일업 가능한가?
• RQ4 확률적 경사 하강법의 사용이 커뮤니티 탐지의 정확도와 수렴에 어떤 영향을 미치는가?
• RQ5 이 방법은 커뮤니티 탐지 외에도 비지도 토픽 모델링 작업으로 효과적으로 확장될 수 있는가?

주요 결과

• GPU 기반 구현은 상태 최적의 변분 방법 대비 수개의 주기 수준 더 빠른 실행 시간을 달성한다.
• Facebook, Yelp, DBLP 데이터셋에서 커뮤니티 소속 복원에 높은 정확도를 달성하며, p-값과 위험률 기반 검증을 통해 검증되었다.
• CPU 기반 구현은 희소 선형 대수 연산을 통해 데이터 희소성을 활용하여 더 큰 데이터셋을 성공적으로 처리한다.
• 확률적 경사 하강법은 서브샘플링과 정확도 사이의 효과적인 트레이드오프를 가능하게 하여 다양한 데이터 스케일에서 견고한 성능을 유지한다.
• 이 방법은 커뮤니티 탐지 외에도 뉴욕 타임스 데이터셋에서 효율적인 토픽 복원을 가능하게 하여 잘 일반화됨을 보였다.
• 텐서 기반 접근은 강력한 확장성과 정확도를 보이며, 속도와 정밀도 측면에서 기존 방법을 능가한다.