[논문 리뷰] GraphChi-DB: Simple Design for a Scalable Graph Database System -- on Just a PC

Aapo Kyrola, Carlos Guestrin|arXiv (Cornell University)|2014. 03. 04.

Graph Theory and Algorithms참고 문헌 27인용 수 17

한 줄 요약

GraphChi-DB는 단일 PC에서 효율적이고 확장 가능한 그래프 데이터베이스 연산을 가능하게 하는 새로운 디스크 기반 그래프 저장 구조인 분할 인cidency 리스트(PAL)를 소개한다. 디스크 효율적인 저장 방식과 LSM-tree 기반 삽입, 그리고 입/출력 엣지 액세스 및 속성 지원을 결합함으로써, 빌리언 엣지 그래프에서 최신 기술 수준의 성능을 달성한다. 이는 클러스터 규모의 인프라가 필요 없이도 대규모 메모리 외부 작업 환경에서 Neo4j와 같은 시스템을 뛰어넘는 성능을 발휘하며, 분석 계산과 고속 삽입을 모두 지원한다.

ABSTRACT

We propose a new data structure, Parallel Adjacency Lists (PAL), for efficiently managing graphs with billions of edges on disk. The PAL structure is based on the graph storage model of GraphChi (Kyrola et. al., OSDI 2012), but we extend it to enable online database features such as queries and fast insertions. In addition, we extend the model with edge and vertex attributes. Compared to previous data structures, PAL can store graphs more compactly while allowing fast access to both the incoming and the outgoing edges of a vertex, without duplicating data. Based on PAL, we design a graph database management system, GraphChi-DB, which can also execute powerful analytical graph computation. We evaluate our design experimentally and demonstrate that GraphChi-DB achieves state-of-the-art performance on graphs that are much larger than the available memory. GraphChi-DB enables anyone with just a laptop or a PC to work with extremely large graphs.

연구 동기 및 목표

• 클러스터 규모의 인프라가 필요 없이도 효율적인 쿼리와 고속 삽입을 지원하는 경량의 디스크 기반 그래프 저장 시스템을 설계하는 것.
• 메인 메모리 용량을 초과하는 매우 큰 그래프를 처리할 수 없는 기존 그래프 데이터베이스 및 저장 모델의 한계를 해결하는 것.
• 통합된 데이터 구조를 사용해 단일 노드 시스템에서 온라인 거래 처리(OLTP)와 분석 처리(OLAP) 워크로드를 모두 효율적으로 지원하는 것.
• 컴modity 하드웨어(예: 노트북 또는 PC)에서도 고성능 그래프 분석 및 데이터베이스 연산이 가능하다는 것을 입증하는 것.
• 엣지 및 버텍스 속성, 빠른 입/출력 엣지 탐색, LSM-tree 적응을 통한 효율적 삽입을 지원하는 유연하고 확장 가능한 시스템을 제공하는 것.

제안 방법

• 핵심 데이터 구조인 분할 인cidency 리스트(PAL)는 그래프 엣지를 분할된 고정된 평면 배열로 조직하여, 중복 데이터 없이도 입/출력 엣지에 빠른 랜덤 액세스를 가능하게 한다.
• PAL은 인접성 데이터와 함께 임의의 버텍스 및 엣지 속성을 저장함으로써 별도의 색인 또는 조인 연산이 필요 없도록 한다.
• 시스템은 표준 SSD에서 매초 수천 개의 엣지 삽입을 가능하게 하는 LSM-tree 변형을 사용하여 고속 삽입을 지원한다.
• GraphChi-DB는 디스크 기반 분석 계산을 위한 효율적인 병렬 슬라이딩 윈도우(PSW) 알고리즘을 GraphChi에서 가져와 글로벌 그래프 알고리즘의 인-place 실행을 가능하게 한다.
• 메모리 매핑 파일과 메모리 내 색인을 활용하여 빠른 액세스를 구현하며, 저사양 하드웨어에서도 전체 색인 구조가 메인 메모리에 맞도록 설계되었다.
• 시스템은 튜닝 가능하다: 파artition 크기, 버퍼 크기, LSM-tree 설정과 같은 파라미터를 조정하여 읽기 중심 또는 쓰기 중심 워크로드에 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 메인 메모리 용량을 초과하는 빌리언 엣지 그래프를 단일 노드 시스템에서 단순하고 압축된 저장 모델을 사용해 효율적으로 관리할 수 있는가?
• RQ2 성능이나 데이터 무결성에 손상 없이도 디스크 기반 그래프 데이터베이스에서 빠른 쿼리 액세스와 고속 삽입을 동시에 달성할 수 있는가?
• RQ3 통합된 데이터 구조가 OLTP 스타일 쿼리와 OLAP 스타일 분석 계산을 모두 효율적으로 지원할 수 있는가?
• RQ4 PAL과 같은 단순하고 불변의 데이터 구조가, Neo4j와 같은 복잡하고 색인 중심의 시스템보다 대규모 메모리 외부 그래프에서 얼마나 뛰어난 성능을 발휘하는가?
• RQ5 LSM-tree 적응이 그래프 데이터베이스 환경에서 고속 삽입 성능을 달성하는 데 얼마나 효과적인가?

주요 결과

• GraphChi-DB는 대규모 메모리 외부 그래프 워크로드에서 특히 빌리언 엣지 그래프의 복잡한 쿼리 및 탐색 작업에서 Neo4j를 뛰어넘는 성능을 보였다.
• LSM-tree 적응을 통해 표준 랩탑에서 매초 수천 개의 엣지 삽입 성능을 달성했으며, 배치 처리가 필요 없이도 고속 삽입을 구현했다.
• PAL 데이터 구조는 기존 그래프 데이터베이스 대비 디스크 저장소 오버헤드를 감소시켜, 컴modity SSD에서 매우 큰 그래프 저장이 가능하도록 했다.
• GraphChi-DB의 모든 색인은 메인 메모리에 맞아 랜덤 디스크 I/O를 최소화하고 쿼리 성능을 향상시켰다.
• 시스템은 PSW 알고리즘을 통한 분석 계산과 온라인 거래 처리를 모두 지원하며, 적절한 튜닝을 통해 성능 저하를 최소화했다.
• 설계는 매우 탄력적이며, 다양한 워크로드에 맞게 튜닝 가능하다: OLAP 데이터 웨어하우스로도 경쟁력 있는 성능을 발휘하거나, 고속 쓰기 삽입을 위한 OLTP 시스템으로도 유연하게 활용할 수 있다.