[논문 리뷰] EmptyHeaded: Boolean Algebra Based Graph Processing

Christopher R. Aberger, Andres Nötzli외 2명|arXiv (Cornell University)|2015. 03. 09.

Graph Theory and Algorithms참고 문헌 53인용 수 15

한 줄 요약

EmptyHeaded는 쿼리를 부울 대수 연산—주로 집합 교차—으로 컴파일하는 그래프 패턴 엔진으로, SIMD 병렬 처리를 활용해 그래프 패턴 매칭을 가속화한다. 데이터 스케일 문제를 최적화함으로써 전용 그래프 엔진보다 최대 10배 빠르고, 관계형 시스템보다 100배 빠르게 성능을 달성하며, 그래프 처리의 새로운 고성능 패러다임을 입증한다.

ABSTRACT

We present a graph pattern engine, EmptyHeaded, that uses recent algorithmic advances in join processing to compile patterns into Boolean algebra operations that exploit SIMD parallelism. The EmptyHeaded engine demonstrates that treating graph patterns as a general join processing problem can compete with and often outperform both specialized approaches and existing OLAP systems on graph queries. The core Boolean algebra operation performed in EmptyHeaded is set intersection. Extracting SIMD parallelism during set intersections on graph data is challenging because graph data can be skewed in several dierent ways. Our contributions are a demonstration of this new type of engine with Boolean algebra at its core, an exploration of set intersection representations and algorithms for set intersections that are optimized for skew. We demonstrate that EmptyHeaded outperforms specialized graph engines by over an order of magnitude and relational systems by over two orders of magnitude. Our results suggest that this new style of engine is a promising new direction for future graph engines and accelerators.

연구 동기 및 목표

• 그래프 패턴 매칭이 부울 대수를 활용한 일반화된 조인 처리 문제로 효과적으로 모델링될 수 있는지 탐구하기.
• SIMD 최적화된 집합 교차 과정에서 발생하는 그래프 워크로드의 데이터 스케일 문제를 해결하기.
• 저수준 병렬 처리와 부울 연산을 활용한 고성능 쿼리 실행을 위한 그래프 엔진을 설계하고 구현하기.
• 부울 대수 기반 엔진이 전용 그래프 엔진과 기존 OLAP 시스템을 모두 능가할 수 있는지 평가하기.

제안 방법

• 그래프 패턴 쿼리를 주로 집합 교차를 핵심 연산으로 삼는 부울 대수 표현식으로 컴파일한다.
• 세트를 비트맵으로 표현하고 교차 과정에서 비트 단위 연산을 병렬로 수행함으로써 SIMD 병렬 처리를 활용한다.
• 왜곡된 그래프 데이터 분포로 인한 성능 저하를 완화하기 위해 특수화된 데이터 표현 및 알고리즘을 설계한다.
• 불균형한 데이터 분포에도 불구하고 고처리량을 유지하기 위해 집합 교차 알고리즘을 최적화한다.
• 현대 프로세서에서 최대 처리량을 확보하기 위해 기존 하드웨어 가속 기능과 통합한다.
• 그래프 패턴 매칭을 일반화된 등가조인 문제로 간주하여 효율적인 부울 연산으로 컴파일할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 그래프 패턴 쿼리는 SIMD 병렬 처리를 활용하는 부울 대수 연산으로 효과적으로 컴파일될 수 있는가?
• RQ2 왜곡된 그래프 데이터를 처리하면서도 고성능을 유지할 수 있도록 집합 교차 연산을 어떻게 최적화할 수 있는가?
• RQ3 부울 대수 기반 엔진이 전용 그래프 엔진과 관계형 OLAP 시스템을 얼마나 뛰어나게 성능으로 능가할 수 있는가?
• RQ4 왜곡된 데이터를 포함한 실제 워크로드에서 이러한 엔진의 성능 특성은 어떠한가?

주요 결과

• EmptyHeaded는 그래프 쿼리 워크로드에서 전용 그래프 엔진보다 10배 이상 빠른 성능을 보였다.
• 기존의 관계형 OLAP 시스템보다 두 배 이상의 성능 향상을 달성했다.
• SIMD 최적화된 집합 교차를 통해 왜곡된 데이터 상황에서도 고처리량을 유지할 수 있었으며, 이는 맞춤형 알고리즘적 표현 덕분이었다.
• 결과적으로 그래프 패턴을 부울 대수 연산을 활용한 일반화된 조인 문제로 간주하는 것이 존재하는 접근 방식에 비해 실현 가능하고 고성능임을 입증했다.
• 성능 향상 요인은 저수준 병렬 처리의 효율적 활용과 최적화된 집합 교차 알고리즘에 기인한다.
• 이 연구는 이러한 새로운 엔진 아키텍처가 향후 그래프 처리 시스템과 하드웨어 가속기의 중요한 방향성을 제시한다.