[논문 리뷰] Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs

Shaikh Arifuzzaman, Maleq Khan외 1명|arXiv (Cornell University)|2017. 06. 16.

Complex Network Analysis Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 최대 100억 개의 간선을 가진 거대한 그래프에서 정확한 삼각형 수 계산 및 클러스터링 계수 계산을 위한 MPI 기반 분산 메모리 병렬 알고리즘을 두 가지 제시한다. 첫 번째 알고리즘은 겹치는 분할과 로드 밸런싱을 사용하여 높은 성능을 달성하며, 정확한 삼각형 수 계산을 16분 이내로 수행한다. 두 번째 알고리즘은 비겹치는 분할을 사용하여 공간 효율성을 높이며, 두 알고리즘 모두 삼각형의 스케일러블한 목록 작성과 간선 희소화를 통한 근사 계산을 지원한다.

ABSTRACT

Big graphs (networks) arising in numerous application areas pose significant challenges for graph analysts as these graphs grow to billions of nodes and edges and are prohibitively large to fit in the main memory. Finding the number of triangles in a graph is an important problem in the mining and analysis of graphs. In this paper, we present two efficient MPI-based distributed memory parallel algorithms for counting triangles in big graphs. The first algorithm employs overlapping partitioning and efficient load balancing schemes to provide a very fast parallel algorithm. The algorithm scales well to networks with billions of nodes and can compute the exact number of triangles in a network with 10 billion edges in 16 minutes. The second algorithm divides the network into non-overlapping partitions leading to a space-efficient algorithm. Our results on both artificial and real-world networks demonstrate a significant space saving with this algorithm. We also present a novel approach that reduces communication cost drastically leading the algorithm to both a space- and runtime-efficient algorithm. Further, we demonstrate how our algorithms can be used to list all triangles in a graph and compute clustering coefficients of nodes. Our algorithm can also be adapted to a parallel approximation algorithm using an edge sparsification method.

연구 동기 및 목표

• 단일 노드의 메모리 용량을 초과하는 거대한 그래프—특히 수십억 개의 간선을 가진 그래프—를 분석하는 데 도전하는 문제를 다루기 위해.
• 분산 메모리 시스템에서 삼각형 수 계산 및 클러스터링 계수 계산을 위한 정확하고 확장성 있고 효율적인 병렬 알고리즘을 개발하기 위해.
• 분산 환경에서 효과적인 로드 밸런싱과 통신 비용 감소를 통해 높은 성능을 달성하기 위해.
• 더 큰 네트워크 처리를 위해 희소화를 통한 근사 계산도 지원하면서 정확한 계산을 가능하게 하기 위해.
• 모든 삼각형을 나열하고 노드 수준의 클러스터링 계수를 계산하여 세밀한 네트워크 분석을 가능하게 하기 위해.

제안 방법

• 삼각형 수 계산에서 유휴 시간을 최소화하고 병렬 효율성을 극대화하기 위해 동적 로드 밸런싱을 통한 겹치는 분할 기반 설계를 수행한다.
• 대규모 그래프에서 메모리 사용량을 줄이고 공간 효율성을 향상시키기 위해 비겹치는 분할 전략을 구현한다.
• 프로세서 간 데이터 전송을 최소화하여 런타임 성능을 향상시키기 위해 새로운 통신 감소 기법을 통합한다.
• 병렬 프레임워크 내에서 DOULION 희소화 방법을 적응시켜 정확도를 향상시킨 근사 삼각형 수 계산을 지원한다.
• 각 노드의 삼각형 수를 집계하여 국소 클러스터링 계수를 계산하고, 핵심 삼각형 수 계산 알고리즘을 확장하여 모든 삼각형을 나열한다.
• 고성능 컴퓨팅 클러스터에서의 이식성과 확장성을 보장하기 위해 MPI 기반 메시지 전달 방식을 사용한다.

실험 결과

연구 질문

• RQ1 분산 메모리 환경에서 겹치는 분할과 로드 밸런싱이 빌리언 엣지 그래프에서 정확한 삼각형 수 계산에 대해 높은 확장성과 낮은 런타임을 달성할 수 있는가?
• RQ2 삼각형 수 계산에서 비겹치는 분할은 겹치는 분할에 비해 공간 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 정확도를 훼손하지 않고 분산 삼각형 수 계산에서 통신 비용을 어느 정도까지 줄일 수 있는가?
• RQ4 제안된 알고리즘은 모든 삼각형을 효율적으로 나열하고 노드 수준의 클러스터링 계수를 계산할 수 있는가?
• RQ5 분산 삼각형 수 계산에 간선 희소화를 통합할 경우 초거대한 그래프에서 삼각형 수 근사를 위해 얼마나 효과적인가?

주요 결과

• 겹치는 분할 알고리즘이 100억 개의 간선을 가진 그래프에서 정확한 삼각형 수를 16분 이내로 계산하였다.
• 비겹치는 분할 알고리즘이 겹치는 방식에 비해 상당한 공간 절감 효과를 보였으며, 특히 메모리 제약이 있는 환경에서 유리하다.
• 통신 감소 기법은 런타임 향상과 함께 프로세서 간 데이터 전송을 줄여 전체 효율성을 향상시켰다.
• 실제 네트워크인 LiveJournal과 Twitter에서 강한 및 약한 확장성 모두가 입증되었으며, 합성 및 실제 그래프 모두에서 높은 성능을 보였다.
• DOULION 희소화의 통합은 병렬 환경에서 근사 정확도를 향상시켜 더욱 큰 그래프의 스케일러블 분석을 가능하게 하였다.
• 확장된 알고리즘은 모든 삼각형을 성공적으로 나열하고 국소 클러스터링 계수를 계산하여 세밀한 네트워크 분석을 가능하게 하였다.