[논문 리뷰] Distributed Edge Partitioning for Graph Processing

Alessio Guerrieri, Alberto Montresor|arXiv (Cornell University)|2014. 03. 25.

Graph Theory and Algorithms참고 문헌 15인용 수 21

한 줄 요약

이 논문은 그래프 연산을 정점이 아닌 간선에 할당함으로써 더 효율적인 병렬 처리를 가능하게 하는 새로운 분산 엣지 분할 프레임워크인 etsch를 제안한다. dfep는 분산 노드 간 엣지를 분할하는 확장 가능한 휴리스틱 알고리즘으로, 균형 잡힌 분할을 달성하고 Hadoop 및 클라우드 환경에서의 그래프 분석 워크로드에서 성능을 크게 향상시킨다.

ABSTRACT

The availability of larger and larger graph datasets, growing exponentially over the years, has created several new algorithmic challenges to be addressed. Sequential approaches have become unfeasible, while interest on parallel and distributed algorithms has greatly increased. Appropriately partitioning the graph as a preprocessing step can improve the degree of parallelism of its analysis. A number of heuristic algorithms have been developed to solve this problem, but many of them subdivide the graph on its vertex set, thus obtaining a vertex-partitioned graph. Aim of this paper is to explore a completely different approach based on edge partitioning, in which edges, rather than vertices, are partitioned into disjoint subsets. Contribution of this paper is twofold: first, we introduce a graph processing framework based on edge partitioning, that is flexible enough to be applied to several different graph problems. Second, we show the feasibility of these ideas by presenting a distributed edge partitioning algorithm called d-fep. Our framework is thoroughly evaluated, using both simulations and an Hadoop implementation running on the Amazon EC2 cloud. The experiments show that d-fep is efficient, scalable and obtains consistently good partitions. The resulting edge-partitioned graph can be exploited to obtain more efficient implementations of graph analysis algorithms.

연구 동기 및 목표

• 대규모 그래프 처리에서 정점 기반 분할의 한계를 해결하기 위해 엣지 분할을 대안으로 탐색한다.
• 연산이 정점 대신 엣지와 연결되는 유연한 분산 그래프 처리 프레임워크인 etsch를 설계한다.
• 부하 균형을 보장하고 통신 오버헤드를 최소화하는 분산 엣지 분할을 위한 새로운 휴리스틱 알고리즘인 dfep를 개발하고 평가한다.
• Amazon EC2에서의 시뮬레이션과 실제 Hadoop 배포를 통해 엣지 분할의 실현 가능성과 효율성을 입증한다.

제안 방법

• 프레임워크 etsch는 계산을 엣지 중심으로 구성하여 각 엣지가 상태를 유지하고 독립적으로 분산 처리에 참여할 수 있도록 한다.
• dfep는 케르니히안-린 및 시뮬레이티드 어닐링에 영감을 받은 휴리스틱 접근 방식을 사용하여 부하 균형을 확보하면서도 확장 가능한 분산 엣지 분할을 가능하게 한다.
• 알고리즘은 반복적인 局부 개선을 통해 엣지 컷을 최소화하면서도 분할 크기를 균형 있게 유지하도록 엣지를 분할에 할당한다.
• 이론적 감소를 위해 라인 그래프 변환이 고려되었지만, 크기 증가가 지나치게 크기 때문에 기각되었다.
• 시스템은 Hadoop에 구현되어 있으며, 합성 및 실제 그래프 워크로드를 사용하여 Amazon EC2에서 평가되었다.
• 상호 분할 간 엣지 수를 줄여 통신 오버헤드를 최소화함으로써 확장성과 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 분산 그래프 처리 프레임워크에서 엣지 분할이 기존의 정점 기반 분할보다 우월한가?
• RQ2 부하 균형을 확보하고 통신 비용을 최소화할 수 있는 분산 엣지 분할 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 엣지 분할은 SSSP와 같은 그래프 분석 알고리즘의 성능을 어느 정도 향상시키는가?
• RQ4 제안된 etsch 프레임워크는 기본적인 문제 외의 다양한 그래프 문제를 지원할 수 있을 정도로 유연한가?
• RQ5 dfep는 Amazon EC2와 같은 실제 분산 환경에서 어떻게 확장되는가?

주요 결과

• dfep는 다양한 그래프 유형에서 낮은 엣지 컷과 균형 잡힌 분할 크기를 유지하면서 일관되게 양호한 분할 품질을 달성한다.
• Hadoop 기반의 etsch 구현은 단일 소스 최단 경로(Single-Source Shortest Path, SSSP) 워크로드에서 표준 기준 알고리즘보다 뛰어난 성능을 보이며, 효율성 향상을 입증한다.
• dfep는 Amazon EC2에서 잘 스케일링되며, 클러스터 크기와 그래프 규모가 증가할수록 뚜렷한 스피드업을 보인다.
• 엣지 기반 분할 그래프 모델은 정점 기반 분할 모델 대비 통신 오버헤드를 줄이고 더 효율적인 병렬 실행을 가능하게 한다.
• etsch 프레임워크는 다양한 그래프 문제에 대해 실현 가능하며, 향후 최적화와 더 넓은 적용 가능성을 지닌다.
• 실험 결과는 엣지 분할이 분산 그래프 처리에서 정점 분할의 타당하고 효과적인 대안임을 확인한다.