[논문 리뷰] Partitioning Strategies for Load Balancing Subgraph-centric Distributed Graph Processing

Neel Choudhury, Ravikant Dindokar외 2명|arXiv (Cornell University)|2015. 08. 18.

Graph Theory and Algorithms참고 문헌 24인용 수 3

한 줄 요약

이 논문은 분산 그래프 처리에서 로드 밸런싱을 향상시키기 위해 세 가지 서브그래프 중심의 분할 전략—평탄한, 계층적인, 적응형—을 제안한다. 머신 간 컴포넌트 배포를 최적화함으로써, 기존 전략 대비 최대 8배의 CPU 활용도 향상과 최대 5배의 메이크스팬 감소를 달성하며, 파워-라우 및 스페시오-플라너 그래프에서 Apache Giraph보다 확장성과 효율성 면에서 뛰어나다.

ABSTRACT

Distributed graph processing platforms have helped emerging application domains use commodity clusters and Clouds to analyze large graphs. Vertex-centric programming models like Google Pregel, and their subgraph-centric variants, specify data-parallel application logic for a single vertex or component that execute iteratively. The locality and balancing of components within partitions affects the performance of such platforms. We propose three partitioning strategies for a subgraph-centric model, and analyze their impact on CPU utilization, communication, iterations, and makespan. We analyze these using Breadth First Search and PageRank algorithms on powerlaw and spatio-planar graphs. They are validated on a commodity cluster using our GoFFish subgraph-centric platform, and compared against Apache Giraph vertex-centric platform. Our experiments show upto 8 times improvement in utilization resulting to upto 5 times improvement of overall makespan for flat and hierarchical partitioning over the default strategy due to improved machine utilization. Further, these also exhibit better horizontal scalability relative to Giraph.

연구 동기 및 목표

• 나쁜 로드 밸런싱과 통신 오버헤드로 인한 분산 그래프 처리의 성능 저하 문제를 해결하기 위해.
• 서브그래프 중심의 그래프 처리 플랫폼에서 CPU 활용도 향상과 메이크스팬 감소를 위해.
• 컴modity 클러스터에서 수평 확장성과 자원 활용도를 향상시키는 분할 전략을 평가하기 위해.
• 실세계 워크로드에서 Apache Giraph의 정점 중심 모델과의 비교를 통해 서브그래프 중심의 분할 전략의 성능을 평가하기 위해.

제안 방법

• 정점의 차수와 연결성에 기반해 그래프를 서브그래프로 나누는 평탄한 분할 전략을 제안하여 각 머신의 작업을 균형 있게 배분한다.
• 큰 서브그래프를 재귀적으로 분할하여 로드 스케일을 줄이고 로드 분포를 향상시키는 계층적 분할 전략을 도입한다.
• 실행 시 성능 메트릭을 기반으로 서브그래프를 동적으로 재할당하여 균형을 유지하는 적응형 분할 전략을 설계한다.
• 반복 알고리즘인 BFS와 PageRank를 사용하여 GoFFish 플랫폼을 활용해 서브그래프 중심 실행을 구현하고 평가한다.
• 실세계 워크로드를 시뮬레이션하기 위해 파워-라우 및 스페시오-플라너 그래프를 사용하며, CPU 활용도, 통신량, 반복 횟수, 메이크스팬을 측정한다.
• 확장성과 효율성 향상 여부를 평가하기 위해 결과를 Apache Giraph의 정점 중심 모델과 비교한다.

실험 결과

연구 질문

• RQ1 다양한 서브그래프 분할 전략이 분산 그래프 처리에서 CPU 활용도에 어떤 영향을 미치는가?
• RQ2 제안된 분할 전략은 기본 전략 및 정점 중심 전략 대비 메이크스팬을 얼마나 줄일 수 있는가?
• RQ3 제안된 분할 전략은 컴modity 클러스터에서 수평 확장성에 어떻게 기여하는가?
• RQ4 반복 그래프 알고리즘에서 분할 전략이 통신량과 반복 횟수에 어떤 영향을 미치는가?

주요 결과

• 평탄한 분할과 계층적 분할 전략은 기본 전략 대비 최대 8배의 CPU 활용도 향상을 달성했다.
• 제안된 분할 전략을 사용함으로써 메이크스팬이 기본 접근 방식 대비 최대 5배 감소했다.
• 모든 테스트된 그래프 유형에서 Apache Giraph보다 서브그래프 중심 접근 방식이 더 뛰어난 수평 확장성을 보였다.
• Breadth-First Search와 PageRank 워크로드는 로드 불균형과 통신 오버헤드 감소로 인해 뚜렷한 성능 향상을 보였다.
• 적응형 분할 전략은 실행 중 높은 로드 균형을 유지하여 일관된 성능 향상을 이끌어냈다.