[논문 리뷰] Counting Triangles in Massive Graphs with MapReduce

Tamara G. Kolda, Ali Pınar외 3명|2013. 01. 24.

Data Management and Algorithms인용 수 7

한 줄 요약

이 논문은 맵리듀스 기반의 와이드플라이트 샘플링을 활용한 확장 가능한 삼각형 수세기 구현을 제시하며, 최대 24000만 개의 노드와 85억 개의 간선을 가진 거대한 그래프에서 글로벌 및 도수별 클러스터링 계수, 삼각형 통계를 정확하게 추정할 수 있도록 한다. 이는 0.33초/100만 개 간선의 처리 시간에 고정 오버헤드를 더해 한 시간 이내에 가장 큰 그래프를 처리할 수 있다.

ABSTRACT

Graphs and networks are used to model interactions in a variety of contexts. There is a growing need to quickly assess the characteristics of a graph in order to understand its underlying structure. Some of the most useful metrics are triangle-based and give a measure of the connectedness of mutual friends. This is often summarized in terms of clustering coefficients, which measure the likelihood that two neighbors of a node are themselves connected. Computing these measures exactly for large-scale networks is prohibitively expensive in both memory and time. However, a recent wedge sampling algorithm has proved successful in efficiently and accurately estimating clustering coefficients. In this paper, we describe how to implement this approach in MapReduce to deal with massive graphs. We show results on publicly-available networks, the largest of which is 132M nodes and 4.7B edges, as well as artificially generated networks (using the Graph500 benchmark), the largest of which has 240M nodes and 8.5B edges. We can estimate the clustering coefficient by degree bin (e.g., we use exponential binning) and the number of triangles per bin, as well as the global clustering coefficient and total number of triangles, in an average of 0.33 seconds per million edges plus overhead (approximately 225 seconds total for our configuration). The technique can also be used to study triangle statistics such as the ratio of the highest and lowest degree, and we highlight differences between social and non-social networks. To the best of our knowledge, these are the largest triangle-based graph computations published to date.

연구 동기 및 목표

• 높은 메모리 및 시간 비용으로 인해 대규모 그래프에서 정확한 삼각형 수세기가 계산적으로 불가능한 문제를 해결하기 위해.
• 분산 컴퓨팅을 활용해 거대한 네트워크에서 클러스터링 계수와 삼각형 통계를 효율적이고 확장 가능하게 추정하기 위해.
• 맵리듀스에서의 와이드플라이트 샘플링이 1억 개 이상의 노드와 85억 개의 간선을 가진 그래프를 처리할 수 있음을 입증하며, 로드 밸런싱 및 데이터 분포 문제를 극복하기 위해.
• 실제 및 합성 네트워크에 대해 도수별 클러스터링 계수와 함께 도수 조화성, 분류된 클러스터링 계수 등 삼각형 특성의 세밀한 분석을 제공하기 위해.
• 실세계 및 Graph500 벤치마크 그래프에서 방법을 검증하여, 최소한의 오버헤드로 높은 정확도를 달성함을 보여주기 위해.

제안 방법

• 이 방법은 와이드플라이트 샘플링을 사용한다: 잠재적인 와이드플라이트 중심이 되는 정점 쌍을 샘플링하고, 닫는 간선이 존재하는지 확인하여 삼각형을 형성하는지 검사한다.
• 맵리듀스를 사용해 간선 데이터를 노드 간에 분산하며, 정점의 차수 계산, 와이드플라이트 샘플링, 삼각형 닫힘 검증을 위한 다중 단계를 수행한다.
• 1a단계에서 도수 분포를 계산하며, 2c단계에서 정점의 차수 기반 확률 분포를 사용해 와이드플라이트 샘플링을 수행한다.
• 정점들을 차수 기반으로 그룹화하기 위해 지수형 빈(bin)을 사용하며, 각 빈에 대해 도수별 클러스터링 계수와 삼각형 수를 계산한다.
• 특수한 데이터 구조가 맵리듀스 단계 동안 데이터 재배치를 최소화하며, 특히 전체 간선 목록을 읽는 단계(1a, 2c, 3b)에서 효과적이다.
• 선택적 레이블링 단계(4a, 4b)는 후속 분석(예: 도수 조화성)을 위해 샘플된 삼각형에 도수 정보를 추가한다.

실험 결과

연구 질문

• RQ1 와이드플라이트 샘플링이 맵리듀스 프레임워크에서 효과적으로 병렬화되어 1억 개 이상의 노드와 85억 개의 간선을 가진 거대한 그래프에 스케일링 가능한가?
• RQ2 맵리듀스 기반의 와이드플라이트 샘플링 접근법이 낮은 분산과 낮은 계산 오버헤드로 글로벌 및 도수별 클러스터링 계수를 정확하게 추정할 수 있는가?
• RQ3 사회적 네트워크(예: hollywood-2011)와 비사회적 네트워크(예: Graph500, uk-union) 간에 삼각형 도수 조화성과 클러스터링 프로파일은 어떻게 다를까?
• RQ4 Graph500 벤치마크가 실제 데이터와 유사한 삼각형 및 클러스터링 성질을 가진 네트워크를 얼마나 잘 생성하는가?
• RQ5 동일한 맵리듀스 파이프라인을 사용해 글로벌, 도수별, 도수 조화성 기반 클러스터링 메트릭스를 단일 글로벌 계수 계산 비용과 거의 동일한 비용으로 효율적으로 계산할 수 있는가?

주요 결과

• 처리한 가장 큰 그래프는 24000만 개의 노드와 85억 개의 간선를 가졌으며, 32노드 Hadoop 클러스터에서 한 시간 이내에 분석을 완료했다.
• 이 방법은 약 0.33초/100만 개 간선에 고정 오버헤드 225초가 더해져 간선 수에 따라 선형적으로 확장 가능함을 보였다.
• hollywood-2011 사회적 네트워크의 경우, 삼각형 도수 조화성에서 최소도수와 최대도수 간에 강한 양의 상관관계를 보였으며, 이는 조화적 혼합을 의미한다.
• 반면, uk-union 웹 그래프와 Graph500 네트워크에서는 최소도수 빈에 따른 평균 최대도수가 거의 변하지 않아 조화성이 없음을 시사한다.
• 500만 개의 와이드플라이트 샘플을 사용한 삼각형 수 추정이 기대값과 허용 가능한 분산 내에서 정확하게 일치함을 확인했다.
• 이 방법은 전체 그래프를 메모리에 저장할 필요 없이 도수별 클러스터링 계수와 빈 단위 삼각형 수를 효율적으로 계산할 수 있도록 했다.