[논문 리뷰] S-PowerGraph: Streaming Graph Partitioning for Natural Graphs by Vertex-Cut

Cong Xie, Wu-Jun Li외 1명|arXiv (Cornell University)|2015. 11. 09.

Caching and Content Delivery참고 문헌 14인용 수 10

한 줄 요약

이 논문은 자연 그래프를 대상으로 하는 새로운 스트리밍 그래프 분할 방법인 S-PowerGraph을 제안한다. 정점 컷 기반의 접근 방식을 사용하여, 그래프의 멱법칙(degree distribution)을 활용해 분할 간 통신 비용을 최소화한다. 트위터-2010와 같은 극도로 비균형적인 그래프에서 기존 최고 수준의 기준보다 복제 인자(replication factor)를 최대 30%까지 감소시키며, 스트리밍 환경에서 뛰어난 확장성과 효율성을 입증한다.

ABSTRACT

One standard solution for analyzing large natural graphs is to adopt distributed computation on clusters. In distributed computation, graph partitioning (GP) methods assign the vertices or edges of a graph to different machines in a balanced way so that some distributed algorithms can be adapted for. Most of traditional GP methods are offline, which means that the whole graph has been observed before partitioning. However, the offline methods often incur high computation cost. Hence, streaming graph partitioning (SGP) methods, which can partition graphs in an online way, have recently attracted great attention in distributed computation. There exist two typical GP strategies: edge-cut and vertex-cut. Most SGP methods adopt edge-cut, but few vertex-cut methods have been proposed for SGP. However, the vertex-cut strategy would be a better choice than the edge-cut strategy because the degree of a natural graph in general follows a highly skewed power-law distribution. Thus, we propose a novel method, called S-PowerGraph, for SGP of natural graphs by vertex-cut. Our S-PowerGraph method is simple but effective. Experiments on several large natural graphs and synthetic graphs show that our S-PowerGraph can outperform the state-of-the-art baselines.

연구 동기 및 목표

• 대규모 그래프 처리에서 오프라인 그래프 분할의 높은 계산 비용을 해결하기 위해.
• 비균형적인 그래프에서 이론적으로 유리한 이점이 있지만 여전히 미비하게 연구된 정점 컷 전략을 스트리밍 그래프 분할에서 탐색하기 위해.
• 부하 균형을 유지하면서 복제된 정점과 분할 간 간선 수를 최소화하는 효율적인 온라인 분할 방법을 설계하기 위해.
• 기존의 정점 컷 접근 방식인 PowerGraph를 스트리밍 워크로드에 적응시켜 확장성과 성능을 향상시키기 위해.

제안 방법

• S-PowerGraph는 정점 컷 전략을 사용하여 각 정점과 그에 연결된 간선을 단일 분할에 할당함으로써 분할 간 통신을 최소화한다.
• 스트리밍 환경에서의 분할 할당을 안내하기 위해 도우미 히우리스틱으로서 도수 기반 히우리스틱인 Degree 및 DegreeIO를 사용한다.
• DegreeIO는 도수 기반 히우리스틱 중 Degree의 개선형으로, 비대칭 그래프에서 더 정확한 예측을 위해 들어오는 간선 수(in-degree)와 나가는 간선 수(out-degree)의 분포를 모두 고려한다.
• 예상 도수 분포를 기반으로 동적으로 정점을 분할에 할당하여 복제된 정점 수를 최소화하고 간선 분포를 균형 있게 유지한다.
• 웹 크롤링이나 디스크 기반 그래프 로딩과 같은 실제 스트리밍 워크로드와의 호환성을 고려해 설계되었다.
• 분할 크기를 추적하고 할당을 조정하여 핫스팟을 방지함으로써 부하 균형을 유지한다.

실험 결과

연구 질문

• RQ1 멱법칙 도수 분포를 가진 자연 그래프에서 스트리밍 그래프 분할 시 정점 컷 전략이 간선 컷 전략을 능가할 수 있는가?
• RQ2 스트리밍 정점 컷 분할에서 도수 기반 히우리스틱이 정점 분포를 추정하는 데 얼마나 효과적인가?
• RQ3 들어오는 간선 수(in-degree) 추정과 들어오는/나가는 간선 수의 조합 추정 중 어느 것이 분할 품질에 더 큰 영향을 미치는가?
• RQ4 S-PowerGraph는 분할 수가 증가하고 그래프의 비균형도 변화할 때 어떻게 확장되는가?
• RQ5 PowerGraph와 같은 기존 정점 컷 방법을 스트리밍 환경에 효과적으로 확장할 수 있는가? 이때 부하 균형이나 통신 효율성이 손상되지 않는가?

주요 결과

• S-PowerGraph는 트위터-2010에서 PowerGraph 대비 복제 인자를 최대 30%까지 감소시켜 극도로 비균형적인 그래프에서 뚜렷한 성능 향상을 입증한다.
• 아랍어-2005와 같은 비대칭 그래프에서 DegreeIO는 Degree보다 뛰어나며, 들어오는 간선과 나가는 간선 수를 모두 고려함으로써 거의 35%의 향상을 달성한다.
• 고도의 멱법칙 비균형성을 가진 합성 그래프에서 S-PowerGraph는 PowerGraph보다 더 큰 향상을 보이며, 이는 그래프의 비균형도에 따라 성능 향상이 의존함을 확인한다.
• 모든 실세계 그래프에서 불균형 요인(imbalance factor)이 1.05 이하로 유지되어 강력한 부하 균형을 확보하고 있음을 보여준다.
• 분할 수가 증가함에 따라 S-PowerGraph는 양호한 확장성을 보이며, 분할 수 증가에 따라 일관된 성능 향상이 나타난다.
• 랜덤, BFS, DFS와 같은 다양한 스트림 순서에서도 알고리즘이 유연하게 작동하며, 입력 순서에 관계없이 기존 기준 대비 일관된 성능 향상을 보인다.