[논문 리뷰] EmptyHeaded: A Relational Engine for Graph Processing

Christopher R. Aberger, Susan Tu외 2명|arXiv (Cornell University)|2015. 03. 09.

Graph Theory and Algorithms참고 문헌 62인용 수 13

한 줄 요약

EmptyHeaded는 일반화된 초수형 분해(GHDs), SIMD 최적화된 데이터 레이아웃, 그리고 혁신적인 쿼리 최적화 기법을 통해 최악의 경우 최적의 조인 알고리즘을 활용하는 고성능 관계형 그래프 처리 엔진이다. 이 엔진은 PageRank 및 SSSP와 같은 핵심 그래프 워크로드에서 고수준 엔진보다 최대 세 개의 지수 차이로 뛰어난 성능을 보이며, Galois와 같은 저수준 엔진과도 맞먹거나 뛰어나다.

ABSTRACT

There are two types of high-performance graph processing engines: low- and high-level engines. Low-level engines (Galois, PowerGraph, Snap) provide optimized data structures and computation models but require users to write low-level imperative code, hence ensuring that efficiency is the burden of the user. In high-level engines, users write in query languages like datalog (SociaLite) or SQL (Grail). High-level engines are easier to use but are orders of magnitude slower than the low-level graph engines. We present EmptyHeaded, a high-level engine that supports a rich datalog-like query language and achieves performance comparable to that of low-level engines. At the core of EmptyHeaded's design is a new class of join algorithms that satisfy strong theoretical guarantees but have thus far not achieved performance comparable to that of specialized graph processing engines. To achieve high performance, EmptyHeaded introduces a new join engine architecture, including a novel query optimizer and data layouts that leverage single-instruction multiple data (SIMD) parallelism. With this architecture, EmptyHeaded outperforms high-level approaches by up to three orders of magnitude on graph pattern queries, PageRank, and Single-Source Shortest Paths (SSSP) and is an order of magnitude faster than many low-level baselines. We validate that EmptyHeaded competes with the best-of-breed low-level engine (Galois), achieving comparable performance on PageRank and at most 3x worse performance on SSSP.

연구 동기 및 목표

• 고수준 그래프 쿼리 엔진(예: SQL, Datalog)과 저수준 그래프 처리 시스템 사이의 성능 격차를 해소하여, 성능을 희생시키지 않은 채 고수준의 표현력을 제공한다.
• 이론적으로 최적의 조인 알고리즘을 활용해 전통적인 관계형 엔진과 전문화된 그래프 엔진 사이의 점근적 및 상수 요소 성능 격차를 해소한다.
• 최악의 경우 최적의 다중 조인을 지원하면서도 현대의 SIMD 병렬 하드웨어에서 고성능을 달성하는 새로운 엔진 아키텍처를 설계한다.
• 일반화된 초수형 분해(GHDs) 기반의 관계형 엔진이 표준 그래프 워크로드에서 고수준 및 저수준 그래프 처리 시스템을 모두 능가할 수 있음을 입증한다.

제안 방법

• 복잡한 그래프 패턴을 위한 최악의 경우 최적 조인 처리를 가능하게 하기 위해 기존의 관계대수 대신 일반화된 초수형 분해(GHDs)를 논리적 쿼리 계획 표현으로 사용한다.
• GHDs를 집합 교차 및 루프를 포함하는 효율적인 코드 시퀀스로 컴파일하여 고수준 Datalog 유사 쿼리에서 자동으로 최적화된 실행 계획을 생성한다.
• 데이터 왜곡과 액세스 패턴에 기반해 최적의 알고리즘 및 레이아웃 전략을 선택하는 혁신적인 쿼리 최적화 기법을 구현한다.
• 단일 명령어 다중 데이터(SIMD) 병렬 처리를 최적화하기 위해 이질적인 데이터 레이아웃을 설계하여 조인 처리에 핵심적인 집합 교차 연산을 가속화한다.
• 정확성과 그래프 워크로드에서의 성능을 유지하면서도 성능을 향상시키는 SIMD 최적화된 집합 교차 알고리즘(예: 수정된 SIMDShuffling 및 SIMDGalloping)을 통합한다.
• 데이터 왜곡과 다양한 그래프 쿼리에 대응하기 위해 런타임에 데이터 레이아웃 및 알고리즘 선택과 같은 저수준 결정을 자동화하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 최악의 경우 최적의 조인 알고리즘을 활용함으로써 고수준 관계형 엔진이 저수준 그래프 처리 엔진과 유사한 성능을 달성할 수 있는가?
• RQ2 일반화된 초수형 분해(GHDs)가 복잡한 그래프 패턴 매칭을 위한 효율적이고 이론적으로 최적의 쿼리 계획을 얼마나 잘 제공할 수 있는가?
• RQ3 SIMD 최적화된 데이터 레이아웃과 집합 교차 알고리즘이 관계형 그래프 엔진에서 다중 조인을 얼마나 효과적으로 가속화하는가?
• RQ4 관계형 원칙 기반의 통합 엔진이 표준 그래프 워크로드에서 고수준 및 저수준 그래프 처리 시스템을 모두 능가할 수 있는가?
• RQ5 관계형 엔진과 전문화된 그래프 엔진 사이의 성능 격차를 해소하면서도 고수준 쿼리 표현력을 유지하기 위해 어떤 아키텍처 혁신이 필요한가?

주요 결과

• EmptyHeaded는 그래프 패턴 쿼리, PageRank, 단일 소스 최단 경로(SSSP) 작업에서 LogicBlox 및 SociaLite와 같은 고수준 엔진보다 세 개의 지수 차이로 뛰어난 성능을 보였다.
• PageRank 워크로드에서 EmptyHeaded는 최고의 저수준 엔진인 Galois와 유사한 성능을 달성하여 점근적 효율성이 경쟁 가능함을 입증했다.
• SSSP 워크로드에서 EmptyHeaded는 Galois보다 최대 3배 느리게 작동했지만, 이는 일부 경우에서 이론적으로 최적화되지 않은 점을 감안할 때도 강력한 실용적 성능을 의미한다.
• 그래프 패턴 쿼리에서 EmptyHeaded는 Ligra 및 Green-Marl과 같은 전문화된 저수준 엔진보다 최대 60배 빠른 성능 향상을 기록하여 GHD 기반 최적화의 효과를 입증했다.
• SIMD 최적화된 데이터 레이아웃과 집합 교차 기법은 기존 방법 대비 세 개의 지수 차이 성능 향상을 이끌어내어 아키텍처 선택의 타당성을 입증했다.
• 쿼리 최적화기의 데이터 왜곡에 기반한 레이아웃 및 알고리즘 선택 능력은 다양한 그래프 워크로드에서 일관된 성능 향상을 이끌어냈다.