[논문 리뷰] Scaling-Up In-Memory Datalog Processing: Observations and Techniques

Zhiwei Fan, Jian-Qiao Zhu외 4명|arXiv (Cornell University)|2018. 12. 10.

Graph Theory and Algorithms참고 문헌 19인용 수 7

한 줄 요약

이 논문은 관계형 데이터베이스 관리 시스템(RDBMS) 기반으로 구축된 고성능, 메모리 기반, 병렬 처리 Datalog 엔진인 RecStep을 제안한다. 이는 효율적인 Datalog 처리가 관계형 백엔드를 통해 가능하다는 것을 입증한다. 복잡한 그래프 분석 및 프로그램 분석 워크로드에서 최첨단 엔진 대비 4–6배의 성능 향상을 달성하기 위해 쿼리 컴파일 및 RDBMS 상호작용에 대한 타겟팅 최적화를 적용함으로써, 이전에 RDBMS 백엔드가 확장 가능한 Datalog 처리에 부적합하다고 여겨졌던 가정을 도전한다.

ABSTRACT

Recursive query processing has experienced a recent resurgence, as a result of its use in many modern application domains, including data integration, graph analytics, security, program analysis, networking and decision making. Due to the large volumes of data being processed, several research efforts, across multiple communities, have explored how to scale up recursive queries, typically expressed in Datalog. Our experience with these tools indicated that their performance does not translate across domains (e.g., a tool design for large-scale graph analytics does not exhibit the same performance on program-analysis tasks, and vice versa). As a result, we designed and implemented a general-purpose Datalog engine, called RecStep, on top of a parallel single-node relational system. In this paper, we outline the different techniques we use in RecStep, and the contribution of each technique to overall performance. We also present results from a detailed set of experiments comparing RecStep with a number of other Datalog systems using both graph analytics and program-analysis tasks, summarizing pros and cons of existing techniques based on the analysis of our observations. We show that RecStep generally outperforms the state-of-the-art parallel Datalog engines on complex and large-scale Datalog program evaluation, by a 4-6X margin. An additional insight from our work is that we show that it is possible to build a high-performance Datalog system on top of a relational engine, an idea that has been dismissed in past work in this area.

연구 동기 및 목표

• 그래프 분석 및 프로그램 분석과 같은 다양한 도메인으로의 일반화에 실패하는 전용 Datalog 엔진과의 성능 격차를 해소하기 위해.
• 기존의 회의적인 시각과는 반대로, 관계형 데이터베이스 시스템이 확장 가능하고 고성능 Datalog 처리를 위한 효과적인 백엔드로 기능할 수 있는지 조사하기 위해.
• 복잡한 순환, 집계 및 상호 순환을 지원하는 일반 목적의 병렬 메모리 기반 Datalog 엔진을 설계하고 구현하기 위해.
• 다양한 워크로드에서 RecStep의 성능을 평가하고 기존 Datalog 시스템과 비교함으로써, 기존 기법의 강점과 약점을 규명하기 위해.
• Datalog 컴파일링과 RDBMS 상호작용에 대한 철저한 최적화가 커스텀 쿼리 실행 엔진이 필요 없이도 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• QuickStep이라는 단일 노드 메모리 기반 병렬 RDBMS를 기반으로 하여, 효율적인 병렬 처리 및 메모리 관리를 활용한다.
• Datalog 프로그램을 최적화된 계획 생성을 통해 SQL 쿼리로 컴파일함으로써 오버헤드를 최소화하고 효율적인 실행을 가능하게 한다.
• 데이터 수준 병렬 처리와 다중 쿼리 수준 병렬 처리를 활용하여 데이터 및 쿼리 구조를 최대한 활용해 CPU 활용도를 향상시킨다.
• 핵심 최적화로는 효율적인 델타 관리, 물리적 자료화 제어, 정렬 및 조율에 대한 의존도 감소를 포함하여 I/O 및 동기화 비용을 최소화한다.
• 계층적 부정, 비선형 및 상호 순환, 그리고 순환 및 비순환 집계를 포함한 완전한 Datalog 기능을 지원한다.
• 경량 하이퍼파rameter 튜닝과 컴파일 및 실행 오버헤드를 줄이는 효율적인 쿼리 계획 수립을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반 목적의 Datalog 엔진이 관계형 데이터베이스 시스템 기반으로 구축되었을 때, 그래프 분석 및 프로그램 분석과 같은 다양한 워크로드에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 기존 Datalog 엔진은 다양한 애플리케이션 도메인에서 확장되지 못하는 이유는 무엇이며, 이러한 분열을 초래하는 아키텍처적 특성은 무엇인가?
• RQ3 특정 최적화를 통해 관계형 데이터베이스 백엔드가 얼마나 효율적이고 확장 가능한 Datalog 처리를 지원할 수 있는가?
• RQ4 특히 쿼리 컴파일링 및 RDBMS 상호작용에서의 다양한 최적화 전략이 순환 Datalog 평가의 성능과 자원 활용도에 어떤 영향을 미치는가?
• RQ5 기존 시스템에서의 주요 성능 저하 요인은 무엇이며, 통합된 최적화 엔진 설계를 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• RecStep은 그래프 분석 및 프로그램 분석 워크로드 모두에서 복잡하고 대규모 Datalog 프로그램에 대해 최첨단 병렬 Datalog 엔진 대비 4–6배 빠른 성능을 기록한다.
• RecStep은 평가된 시스템 중 오직 유일하게 RMAT 및 실제 웹 기반 그래프에서 REACH, CC, SSSP 작업을 모두 메모리 초과 없이 완료한 시스템이다.
• Souffle와 BigDatalog는 특히 대규모 데이터셋에서 메모리 부족(OOM) 오류로 일부 워크로드를 완료하지 못하지만, RecStep은 데이터 크기에 비례해 안정적인 성능 스케일링을 유지한다.
• CSPA 프로그램에서는 모든 데이터셋에서 Souffle과 Graspan을 초월한다. 이는 순환 비선형 규칙에서 데이터 수준 및 다중 쿼리 수준 병렬 처리를 효과적으로 활용했기 때문이다.
• CSDA는 단순한 선형 규칙과 많은 반복을 포함하고 있어, RecStep은 컴파일 및 자료화 오버헤드가 높아 Souffle과 BigDatalog에 뒤지지만, 이는 규칙 복잡도가 성능에 미치는 영향을 잘 보여준다.
• RecStep은 CPU 효율성(실행 시간 × 코어 수의 역수로 정의됨)이 높아 bddbddb 및 BigDatalog와 같은 시스템 대비 가용 CPU 코어를 더 효과적으로 활용한다.