[논문 리뷰] Compact Data Structures Meet Databases (Invited Talk)

Domagoj Vrgoč, Carlos Rojas외 8명|arXiv (Cornell University)|2021. 11. 02.

Graph Theory and Algorithms참고 문헌 26인용 수 3

한 줄 요약

MillenniumDB는 엣지 ID와 선택적 애너테이션을 통해 여러 그래프 모델(RDF, 프로퍼티 그래프 등)을 네이티브로 지원하는 새로운 도메인 그래프 데이터 모델에 기반한 지속적이고 오픈소스인 그래프 데이터베이스 엔진이다. 관계형 데이터베이스 기법과 최신 worst-case-optimal 조인 알고리즘 및 오토마타 가이드된 경로 쿼리 알고리즘을 결합하여, 실제 Wikidata 워크로드에서 Neo4j와 Blazegraph와 같은 선도적인 시스템보다 뛰어난 성능을 달성한다.

ABSTRACT

In this systems paper, we present MillenniumDB: a novel graph database engine that is modular, persistent, and open source. MillenniumDB is based on a graph data model, which we call domain graphs, that provides a simple abstraction upon which a variety of popular graph models can be supported. The engine itself is founded on a combination of tried and tested techniques from relational data management, state-of-the-art algorithms for worst-case-optimal joins, as well as graph-specific algorithms for evaluating path queries. In this paper, we present the main design principles underlying MillenniumDB, describing the abstract graph model and query semantics supported, the concrete data model and query syntax implemented, as well as the storage, indexing, query planning and query evaluation techniques used. We evaluate MillenniumDB over real-world data and queries from the Wikidata knowledge graph, where we find that it outperforms other popular persistent graph database engines (including both enterprise and open source alternatives) that support similar query features.

연구 동기 및 목표

• 최신 이론적 기법과 실용적 성능 및 확장성을 결합한 오픈소스 그래프 데이터베이스의 부족을 보완하기 위해.
• RDF와 프로퍼티 그래프와 같은 다양한 그래프 모델을 하나의 일반화 가능한 추상화인 도메인 그래프로 통합하기 위해.
• 경로 쿼리 및 어떤 그래프 요소(노드, 엣지, 레이블)에 대한 조인을 포함한 고급 쿼리 기능을 지원하는 모듈러하고 확장 가능하며 이론적으로 탄탄한 그래프 데이터베이스 시스템을 설계하기 위해.
• 연구자들과 실무자들이 생산 환경에서 사용 가능한 오픈소스 환경에서 새로운 알고리즘을 확장하고 실험할 수 있도록 하기 위해.

제안 방법

• 높은 차수의 관계를 재구성 없이도 네이티브로 표현할 수 있도록 엣지 ID를 도입한 도메인 그래프를 공식적인 데이터 모델로 제안한다.
• Cypher를 영감으로 삼았지만, 엣지 ID의 명시적 참조 및 노드, 엣지, 레이블을 포함한 어떤 그래프 요소에 대한 조인도 지원하는 새로운 쿼리 문법을 도입한다.
• 기존의 관계형 데이터베이스 기법(B+ 트리, 버퍼 매니저 포함)과 최신 worst-case-optimal 조인 처리 알고리즘(Leapfrog 트릭) 및 경로 쿼리 평가 알고리즘(오토마타 가이드)을 융합한 하이브리드 스토리지 및 쿼리 실행 엔진을 활용한다.
• 스토리지, 인덱싱, 쿼리 계획, 평가 등의 컴포넌트를 분리하는 모듈러 아키텍처를 사용하여 확장성과 재사용성을 보장한다.
• 프로퍼티 그래프 모델과의 호환성을 향상시키기 위해 그래프 요소에 선택적 외부 애너테이션을 지원하면서도 핵심 도메인 그래프 추상화를 유지한다.
• 주 메모리 접근을 효율적으로 관리하기 위해 버퍼 매니저를 활용하여 I/O를 최소화하고 대규모 데이터셋에서도 일관된 성능을 보장한다.

실험 결과

연구 질문

• RQ1 RDF와 프로퍼티 그래프 모델을 네이티브로 지원하면서도 효율적인 쿼리 처리가 가능한 통합 그래프 데이터 모델을 설계할 수 있는가?
• RQ2 재구성 또는 예약어 어휘 없이 엣지 ID를 어떻게 활용하여 고차수 관계를 표현할 수 있는가?
• RQ3 worst-case-optimal 조인 및 경로 쿼리에 대한 최신 이론적 알고리즘이 지속적이고 오픈소스 데이터베이스 엔진에 효과적으로 통합될 수 있는가?
• RQ4 기존의 관계형 기법과 현대 알고리즘 기반의 발전을 융합할 경우, 실제 워크로드에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 모듈러하고 오픈소스인 그래프 데이터베이스 시스템이 엔터프라이즈 수준의 성능을 달성하면서도 연구 혁신을 위한 확장성이 유지될 수 있는가?

주요 결과

• MillenniumDB는 Wikidata 지식 그래프의 실제 워크로드에서 Neo4j, Blazegraph, Jena, Virtuoso와 같은 선도적인 시스템을 뛰어넘는 성능을 보였다.
• Wikidata Complete 벤치마크에서 데이터셋 크기가 증가함에 따라 성능 저하가 발생하지 않아 강력한 확장성을 보였다.
• 대규모 복잡한 쿼리 세트에서 평균 쿼리 실행 시간은 13.4초(타임아웃 제외 시 8초)를 기록했다.
• 1,000개가 넘는 쿼리 중 단 15개만 타임아웃되었고, 모든 타임아웃은 결과 수가 80만에서 4,400만 사이인 쿼리에서 발생하여 대규모 결과셋 처리에 대한 강력한 내구성을 보였다.
• 단일, 다중, 복잡한 BGP 패턴 쿼리 및 프로퍼티 경로 쿼리 등 다양한 쿼리 유형에서 일관된 성능을 보였다.
• worst-case-optimal 조인 알고리즘(Leapfrog)과 오토마타 가이드된 경로 평가의 통합이 성능 향상에 크게 기여했다.