[논문 리뷰] Elastic Resource Allocation for Distributed Graph Processing Platforms

Ravikant Dindokar, Yogesh Simmhan|arXiv (Cornell University)|2015. 10. 12.

Graph Theory and Algorithms참고 문헌 25인용 수 4

한 줄 요약

이 논문은 메타그래프 스케치를 사용하여 알고리즘 동작을 예측하고 가상 머신에 그래프 파티션을 동적으로 배치함으로써 클라우드 환경에서 분산 그래프 처리 플랫폼을 위한 탄력적인 자원 할당 전략을 제안한다. 각 슈퍼스텝 동안 활성 파티션을 포함하는 VM만 활성화함으로써, 이 접근 방식은 최대 42%의 실행 비용 절감을 이끌어내며, 최소한의 메이크스팬 증가(최적 대비 29% 이내)를 유지하여 BFS와 같은 비정규적이고 비정상적인 그래프 워크로드에 대한 자원 활용도를 향상시킨다.

ABSTRACT

Distributed graph platforms like Pregel have used vertex- centric programming models to process the growing corpus of graph datasets using commodity clusters. The irregular structure of graphs cause load imbalances across machines operating on graph partitions, and this is exacerbated for non-stationary graph algorithms such as traversals, where not all parts of the graph are active at the same time. As a result, such graph platforms, even as they scale, do not make efficient use of distributed resources. Clouds offer elastic virtual machines that can be leveraged to improve the resource utilization for such platforms and hence reduce the monetary cost for their execution. In this paper, we propose strategies for elastic placement of graph partitions on Cloud VMs for subgraphcentric programming model to reduce the cost of execution compared to a static placement, even as we minimize the increase in makespan. These strategies are innovative in modeling the graph algorithms behavior. We validate our strategies for several graphs, using runtime tra- ces for their distributed execution of a Breadth First Search (BFS) algorithms on our subgraph-centric GoFFish graph platform. Our strategies are able to reduce the cost of exe- cution by up to 42%, compared to a static placement, while achieving a makespan that is within 29% of the optimal

연구 동기 및 목표

• BFS와 같은 비정상적인 알고리즘으로 인한 로드 불균형으로 인한 분산 그래프 처리 플랫폼의 자원 활용도 저하 문제를 해결하기 위해.
• 알고리즘 진행 상황에 따라 가상 머신을 동적으로 할당하고 해제함으로써 클라우드의 탄력성을 활용하기 위해.
• 메이크스팬을 크게 증가시키지 않으면서 클라우드 기반 그래프 처리의 금전적 실행 비용을 줄이기 위해.
• 메타그래프 스케치를 사용하여 알고리즘 동작을 사전에 모델링하여 지능적인 파티션 배치를 안내하기 위해.
• GoFFish 플랫폼의 런타임 트레이스를 사용하여 실제 워크로드의 그래프에 대해 전략을 검증하기 위해.

제안 방법

• 그래프 파티셔닝과 VM 할당을 분리하여 워크로드에 따라 동적으로 재할당이 가능하도록 하기 위해.
• 모든 그래프의 메타그래프 스케치를 구성하여 슈퍼스텝 간 활성 파티션을 예측하기 위해.
• 메타그래프를 사용해 각 슈퍼스텝에서 VM 활성화 및 파티션 배치를 안내하여 불필요한 자원 사용을 최소화하기 위해.
• 빈칸 채우기 및 Knapsack 유사 휴리스틱을 적용하여 활성 파티션을 효율적으로 VM에 공유 배치하기 위해.
• 활성 파티션이 더 이상 존재하지 않을 경우 VM을 동적으로 비활성화하여 비용을 절감하기 위해.
• 평가를 위해 하위그래프 중심의 GoFFish 플랫폼에 전략을 통합하기 위해.

실험 결과

연구 질문

• RQ1 예측된 알고리즘 동작에 기반한 동적 VM 할당이 그래프 처리에서 클라우드 실행 비용을 줄일 수 있는가?
• RQ2 제안된 탄력적 스케줄링 전략은 정적 배치 대비 비용과 메이크스팬 측면에서 어떻게 비교되는가?
• RQ3 메타그래프 스케치는 BFS와 같은 비정상적인 그래프 알고리즘의 진행 상황을 어느 정도 정확하게 모델링할 수 있는가?
• RQ4 탄력적 파티션 배치에서 비용 절감과 성능 오버헤드 사이의 상호 교환 관계는 어떠한가?
• RQ5 자원 사용을 크게 줄이면서도 수용 가능한 메이크스팬을 유지할 수 있는가?

주요 결과

• 제안된 탄력적 할당 전략은 클라우드 VM에서 정적 배치 대비 최대 42%의 실행 비용 절감을 달성한다.
• 탄력적 전략의 메이크스팬은 최적 메이크스팬의 29% 이내에 머무르며, 성능 저하가 최소한임을 나타낸다.
• 메타그래프 스케치의 사용은 슈퍼스텝 간 활성 파티션을 정확하게 예측할 수 있게 하여 효과적인 VM 스케줄링을 가능하게 한다.
• 미국 도로 네트워크 그래프의 경우, 정적 배치 시 평균 CPU 활용도가 35%였지만, 탄력적 스케줄링에서는 훨씬 높은 수준으로 향상되었다.
• BFS와 같은 비정상적인 알고리즘의 로드 불균형 문제를 각 단계에서 필요한 VM만 활성화함으로써 효과적으로 해결한다.
• 비용-성능 트레이드오프가 매우 우수하여, 클라우드 환경에서 대규모 그래프 분석에 실용적으로 적용 가능하다.