[논문 리뷰] Fast Detection of Overlapping Communities via Online Tensor Methods on GPUs

Furong Huang, U. N. Niranjan외 3명|arXiv (Cornell University)|2013. 09. 03.

Tensor decomposition and applications인용 수 13

한 줄 요약

이 논문은 혼합 구성성 스토케스틱 블록 모델 하에서 대규모 네트워크에서 겹치는 커뮤니티를 탐지하기 위해 확률적 경사 하강법을 사용하는 빠르고 GPU 가속화된 온라인 텐서 분해 방법을 제안한다. 40,000개 노드 네트워크에서는 30분 이내, 120,000개 노드 네트워크에서는 3시간 이내에 높은 정확도를 달성하며, 기존 최고 수준의 변분 방법보다 속도와 정확도에서 뛰어나다.

ABSTRACT

We present a scalable tensor-based approach for detecting hidden overlapping communities under the mixed membership stochastic block model. We employ stochastic gradient descent for performing tensor decompositions, which provides flexibility to tradeoff node sub-sampling with accuracy. Our GPU implementation of the tensor-based approach is extremely fast and scalable, and involves a careful optimization of GPU-CPU storage and communication. We validate our results on datasets from popular social networks (Facebook, Yelp and DBLP), where ground truth is available, using notions of p-values and false discovery rates, and obtain high accuracy for membership recovery. We compare our results, both in terms of execution time and accuracy, to the state-of-the-art algorithms such as the variational method, and report better performance. For instance, on the Yelp network consisting of about 40,000 nodes and 500 communities, we recover the latent communities in under 30 minutes, and on the DBLP network consisting of about 120,000 nodes and 500 communities, we recover the latent communities in about 2.8 hours. In comparison, the variational method takes more than an order of magnitude higher execution time on the same datasets.

연구 동기 및 목표

• 높은 계산 효율성을 확보하면서 대규모 네트워크에서 겹치는 커뮤니티를 탐지하는 도전 과제를 해결하기 위해.
• 확장성을 향상시키기 위해 온라인 및 서브샘플링 우호적인 학습을 가능하게 함으로써 기존 텐서 분해 방법을 개선하기 위해.
• 정확도를 희생시키지 않고도 실제 네트워크에서 커뮤니티 탐지의 실행 시간을 단축하기 위해.
• 고성능 텐서 분해를 위해 GPU-CPU 메모리 및 통신 오버헤드를 최적화하기 위해.
• 통계적 측정치인 p-값과 위양성 발견률을 사용하여 알려진 진짜 값이 있는 실제 소셜 네트워크 데이터셋에서 방법을 검증하기 위해.

제안 방법

• 서브샘플링과 정확도 사이의 탄력적인 트레이드오프를 가능하게 하기 위해 온라인 텐서 분해를 위한 확률적 경사 하강법(SGD)을 사용한다.
• 겹치는 커뮤니티 구조의 기초가 되는 생성 모델로 혼합 구성성 스토케스틱 블록 모델을 사용한다.
• 처리량을 극대화하기 위해 GPU-CPU 데이터 저장 및 통신을 신중하게 관리하는 GPU 최적화 구현을 설계한다.
• 대규모 네트워크를 점진적으로 처리할 수 있도록 온라인 학습을 적용하여 배치 방법을 초월한 확장성을 향상시킨다.
• 고차원 네트워크 상호작용에서 잠재적인 겹치는 커뮤니티 소속을 복원하기 위해 텐서 분해를 활용한다.
• 회복된 소속의 신뢰성을 평가하기 위해 p-값과 위양성 발견률을 통한 통계적 검증을 통합한다.

실험 결과

연구 질문

• RQ1 온라인 텐서 분해를 확률적 경사 하강법을 통해 기존 배치 또는 변분 방법과 비교해 대규모 네트워크에서 더 빠른 커뮤니티 탐지를 달성할 수 있는가?
• RQ2 온라인 학습 중 서브샘플링이 겹치는 커뮤니티 복원 정확도에 미치는 영향은 어느 정도인가?
• RQ3 Facebook, Yelp, DBLP와 같은 다양한 크기의 네트워크에서 GPU 최적화 구현이 어떻게 확장되는가?
• RQ4 제안된 방법과 최고 수준의 변분 추론 접근법 간의 실행 시간 및 정확도 격차는 무엇인가?
• RQ5 진짜 값이 있는 경우, 방법이 커뮤니티 소속 복원에 대해 높은 통계적 신뢰도를 유지할 수 있는가?

주요 결과

• Yelp 네트워크(약 40,000개 노드, 500개 커뮤니티)에서, 이 방법은 잠재 커뮤니티를 30분 이내로 회복한다.
• DBLP 네트워크(약 120,000개 노드, 500개 커뮤니티)에서, 이 방법은 커뮤니티 탐지를 약 2.8시간 내에 완료한다.
• 제안된 방법은 동일한 데이터셋에서 최고 수준의 변분 방법보다 실행 시간이 한 계단 이상 빠르다.
• 이 방법은 실제 소셜 네트워크 데이터셋에서 p-값과 위양성 발견률을 사용하여 검증된 높은 정확도로 소속 회복을 달성한다.
• 온라인 SGD 기반 텐서 분해를 통해 속도와 정밀도 사이의 조절 가능한 트레이드오프를 갖는 확장성 있고 융통성 있는 학습이 가능하다.
• GPU 최적화 구현은 CPU와 GPU 간의 통신 및 저장 장애 요소를 크게 줄여 전체 성능을 향상시킨다.