[논문 리뷰] GraphX: Unifying Data-Parallel and Graph-Parallel Analytics

Reynold Xin, Daniel Crankshaw외 4명|arXiv (Cornell University)|2014. 02. 11.

Graph Theory and Algorithms참고 문헌 22인용 수 57

한 줄 요약

GraphX는 그래프를 정점과 간선의 컬렉션으로 모델링하여 데이터-병렬 처리와 그래프-병렬 처리를 하나의 프레임워크에서 통합함으로써, 단일 시스템 내에서 그래프 알고리즘과 데이터-병렬 연산을 효율적으로 실행할 수 있도록 한다. 이는 전용 그래프 시스템과 비슷한 성능을 달성하면서도 데이터 이동을 최소화하고 개발자 생산성을 향상시키는 데 기여한다.

ABSTRACT

From social networks to language modeling, the growing scale and importance of graph data has driven the development of numerous new graph-parallel systems (e.g., Pregel, GraphLab). By restricting the computation that can be expressed and introducing new techniques to partition and distribute the graph, these systems can efficiently execute iterative graph algorithms orders of magnitude faster than more general data-parallel systems. However, the same restrictions that enable the performance gains also make it difficult to express many of the important stages in a typical graph-analytics pipeline: constructing the graph, modifying its structure, or expressing computation that spans multiple graphs. As a consequence, existing graph analytics pipelines compose graph-parallel and data-parallel systems using external storage systems, leading to extensive data movement and complicated programming model. To address these challenges we introduce GraphX, a distributed graph computation framework that unifies graph-parallel and data-parallel computation. GraphX provides a small, core set of graph-parallel operators expressive enough to implement the Pregel and PowerGraph abstractions, yet simple enough to be cast in relational algebra. GraphX uses a collection of query optimization techniques such as automatic join rewrites to efficiently implement these graph-parallel operators. We evaluate GraphX on real-world graphs and workloads and demonstrate that GraphX achieves comparable performance as specialized graph computation systems, while outperforming them in end-to-end graph pipelines. Moreover, GraphX achieves a balance between expressiveness, performance, and ease of use.

연구 동기 및 목표

• 그래프 분석 파이프라인에서 별도의 데이터-병렬 및 그래프-병렬 시스템을 조합할 때 발생하는 비효율성과 복잡성을 해결하기 위해.
• 데이터 중복이나 이동 없이 그래프-병렬 처리와 데이터-병렬 처리를 하나의 조합 가능한 프레임워크로 통합하기 위해.
• Pregel과 PowerGraph 추상화를 표현할 수 있는 최소한의 표현력 있는 그래프 연산자 집합을 설계하여 관계대수학과의 호환성을 유지하기 위해.
• 단일 시스템 내에서 그래프 구축, 변환, 계산, 분석까지의 엔드 투 엔드 그래프 분석 파이프라인을 가능하게 하기 위해.
• 기존의 데이터-병렬 최적화 기법(예: 조인 재작성 및 증분 뷰 유지 기법)을 활용하여 효율적인 그래프 계산을 수행하기 위해.

제안 방법

• GraphX는 분산된 수평 분할된 데이터셋에 저장된 정점과 간선의 컬렉션으로 그래프를 모델링하며, 효율적 접근을 위한 보조 색인 구조를 제공한다.
• Edge-중심 계산과 변환을 가능하게 하는 핵심 그래프-병렬 연산자 집합(예: subgraph 및 mrTriplets)을 도입한다.
• 그래프 계산은 특히 조인과 집계를 포함한 관계대수 연산의 시퀀스로 표현되며, GAS 추상화의 산산각단계에 매핑된다.
• 조인 성능을 최적화하기 위해 자동 조인 재작성과 분산 라우팅 테이블을 사용하며, 분산 데이터베이스에서의 조인 사이트 선택 전략을 모방한다.
• 반복적 그래프 알고리즘 간의 중간 결과를 재사용하기 위해 증분 뷰 유지 기법을 적용하여 중복 계산을 줄인다.
• Spark와 같은 데이터-병렬 엔진과 통합되어 동일한 데이터 위에서 데이터-병렬 및 그래ph-병렬 연산의 원활한 조합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 시스템이 성능을 저하시키지 않고 데이터-병렬 및 그래프-병렬 워크로드를 효율적으로 표현할 수 있는가?
• RQ2 Pregel과 PowerGraph와 같은 기존 그래프-병렬 추상화를 표현할 수 있는 최소한의 그래프 연산자 집합을 설계할 수 있는가? 이는 관계대수학과의 호환성도 유지해야 한다.
• RQ3 데이터-병렬 시스템에서의 최적화 기법(예: 조인 재작성 및 증분 뷰 유지)이 그래프 계산을 가속화하는 데 얼마나 효과적으로 적용될 수 있는가?
• RQ4 엔드 투 엔드 그래프 분석 파이프라인에서 통합된 시스템의 성능이 전용 그래프-병렬 시스템과 비교해 어떻게 되는가?
• RQ5 그래프 및 데이터-병렬 추상화의 통합이 실제 워크플로우에서 데이터 이동을 줄이고 개발자 생산성을 향상시키는 데 기여하는가?

주요 결과

• GraphX는 PageRank나 연결 성분과 같은 반복적 그래프 알고리즘에서 Pregel 및 PowerGraph와 같은 전용 그래프 시스템과 유사한 성능을 달성한다.
• 엔드 투 엔드 그래프 분석 파이프라인에서, 외부 스토리지 간 데이터-병렬 및 그래프-병렬 단계를 연결하는 외부 저장소 기반의 병합 시스템보다 GraphX가 더 뛰어난 성능을 보였다.
• 시스템은 데이터-병렬 및 그래프-병렬 연산의 원활한 조합을 가능하게 하여 데이터 재정렬의 필요성을 줄이고, 맞춤형 데이터 교환 형식의 필요성을 줄였다.
• GraphX는 극히 적은 수의 핵심 연산자만으로 Pregel과 PowerGraph 추상화를 성공적으로 구현하여, 좁은 목 부분 설계의 표현력을 입증했다.
• 관계대수학과 조인 최적화 기법의 통합은 특히 반복 간 중간 조인 결과의 재사용을 통해 그래프 계산의 효율적 실행을 가능하게 했다.
• 산업계 사용자는 GraphX 배포 후 기존 그래프 분석 파이프라인 대비 성능을 100배 향상시켰다고 보고하여, 실세계에서의 성능 이점이 검증되었다.