[논문 리뷰] TigerGraph: A Native MPP Graph Database

Alin Deutsch, Yu Xu외 2명|arXiv (Cornell University)|2019. 01. 24.

Graph Theory and Algorithms참고 문헌 19인용 수 14

한 줄 요약

TigerGraph는 고성능 그래프 분석을 위한 고도로 최적화된 네이티브 대량 병렬 처리(MPP) 그래프 데이터베이스 시스템을 제안한다. 이 시스템은 GSQL라는 고수준의 SQL 호환 쿼리 언어를 도입하여 루프와 누적기능을 통해 선언적이고 반복적인 알고리즘을 지원함으로써, 복잡한 그래프 워크로드에서 확장 가능한 수직 및 수평 확장 성능을 달성한다. 이는 2배에서 10배의 데이터 압축과 빠른 인덱스 기반 액세스를 통해 실현된다.

ABSTRACT

We present TigerGraph, a graph database system built from the ground up to support massively parallel computation of queries and analytics. TigerGraph's high-level query language, GSQL, is designed for compatibility with SQL, while simultaneously allowing NoSQL programmers to continue thinking in Bulk-Synchronous Processing (BSP) terms and reap the benefits of high-level specification. GSQL is sufficiently high-level to allow declarative SQL-style programming, yet sufficiently expressive to concisely specify the sophisticated iterative algorithms required by modern graph analytics and traditionally coded in general-purpose programming languages like C++ and Java. We report very strong scale-up and scale-out performance over a benchmark we published on GitHub for full reproducibility.

연구 동기 및 목표

• 복잡한 그래프 분석 워크로드에서 대규모 수직 및 수평 확장 성능을 지원하는 네이티브 MPP 그래프 데이터베이스를 설계한다.
• SQL 개발자와 NoSQL/MapReduce 프로그래머 간의 격차를 해소하기 위해 통합적이고 고수준의 쿼리 언어를 제공한다.
• 반복적인 그래프 알고리즘(예: PageRank, 최단 경로)을 저수준 명령형 프로그래밍 없이도 표현적이고 선언적으로 기술할 수 있도록 한다.
• 동형 압축과 해시 기반 인덱싱을 통해 스토리지 및 액세스를 최적화하여 빠르고 확장 가능한 운영을 가능하게 한다.

제안 방법

• 노드, 엣지 및 속성을 최적화된 물리적 레이아웃으로 네이티브로 저장하는 분산 그래프 스토리지 엔진을 설계한다.
• 메모리 사용량과 캐시 미스를 줄이기 위해 동형 압축을 구현하며, 사용자 쿼리에 대해 투명한 복원을 보장한다.
• 노드 및 엣지 액세스를 빠르게 하기 위해 해시 인덱스를 사용하여 그래프 크기가 증가하더라도 일정한 시간 복잡도의 검색을 보장한다.
• GSQL를 선언적 언어로 도입하여 SQL 호환성과 정규 경로 패턴과 같은 그래프 전용 기능을 제공한다.
• 루프와 누적기능이라는 두 가지 핵심 구조를 통해 반복 알고리즘을 지원함으로써 고수준 문법으로 BSP 스타일 계산을 가능하게 한다.
• GSQL 쿼리를 분산 노드 간의 병렬 실행 계획으로 네이티브로 매핑하는 MPP 실행 엔진을 제공한다.

실험 결과

연구 질문

• RQ1 네이티브 MPP 원칙을 기반으로 하여 대규모에서 고성능을 달성할 수 있는 그래프 데이터베이스 아키텍처는 어떻게 설계될 수 있는가?
• RQ2 GSQL와 같은 고수준 쿼리 언어가 SQL 호환성과 반복적 그래프 알고리즘에 대한 표현력을 동시에 제공할 수 있는가?
• RQ3 동형 압축과 효율적인 인덱싱을 갖춘 네이티브 그래프 스토리지에서 어떤 성능 향상이 달성될 수 있는가?
• RQ4 선언적 쿼리 문법과 BSP 스타일 계산의 통합이 개발자 생산성 저하 없이도 확장 가능한 분석을 가능하게 하는가?
• RQ5 GSQL가 복잡한 그래프 알고리즘(예: PageRank, 연결 요소)을 선언적이고 고수준의 코드로 얼마나 잘 표현할 수 있는가?

주요 결과

• TigerGraph는 공개된 벤치마크에서 강력한 수직 및 수평 확장 성능을 입증하여, 복잡한 그래프 워크로드에 대해 높은 효율성을 보였다.
• TigerGraph의 데이터 압축은 일반적으로 2배에서 10배의 압축 비율을 달성하여 메모리 사용량을 크게 줄이고 캐시 효율성을 향상시켰다.
• 해시 기반 인덱싱을 통해 노드 및 엣지에 대한 빠르고 일정한 시간 복잡도의 액세스를 보장하여 그래프 크기가 증가하더라도 성능이 유지된다.
• GSQL는 루프와 누적기능을 통해 반복 알고리즘(예: PageRank, 최단 경로)의 전반적인 표현력을 지원하여 저수준 프로그래밍의 필요성을 제거한다.
• SQL 개발자는 새로운 프로그래밍 패러다임을 익힐 필요 없이 그래프 쿼리를 작성할 수 있고, NoSQL 개발자는 익숙한 BSP/MapReduce 사고 방식을 유지할 수 있다.
• GitHub에 공개된 벤치마크 결과는 다른 상용 그래프 제품과 비교해 재현 가능하고 뛰어난 성능을 확인시켰다.