[논문 리뷰] Version 0.1 of the BigDAWG Polystore System

Vijay Gadepally, Kyle O’Brien외 8명|arXiv (Cornell University)|2017. 07. 03.

Scientific Computing and Data Management참고 문헌 19인용 수 9

한 줄 요약

이 논문은 PostgreSQL, Accumulo, 및 SciDB와 같은 이질적 스토리지 엔진을 중간층을 통해 통합하는 오픈소스 폴리스토어 데이터베이스 시스템인 BigDAWG v0.1을 제시한다. 이는 크로스엔진 쿼리 및 데이터 마이그레이션을 가능하게 하며, 특정 워크로드에 최적화된 엔진에 데이터를 라우팅하여 뚜렷한 성능 향상을 보이며, 복잡한 인터아일랜드 연산에서 약 ~10%의 쿼리 오버헤드를 기록한다.

ABSTRACT

A polystore system is a database management system (DBMS) composed of integrated heterogeneous database engines and multiple programming languages. By matching data to the storage engine best suited to its needs, complex analytics run faster and flexible storage choices helps improve data organization. BigDAWG (Big Data Working Group) is our reference implementation of a polystore system. In this paper, we describe the current BigDAWG software release which supports PostgreSQL, Accumulo and SciDB. We describe the overall architecture, API and initial results of applying BigDAWG to the MIMIC II medical dataset.

연구 동기 및 목표

• 관계형, 배열형, 텍스트 데이터와 같은 다양한 데이터 유형을 처리하는 데에 한계가 있는 단일 데이터베이스 시스템의 문제를 해결한다.
• 다양한 이질적 스토리지 엔진을 하나의 쿼리 인터페이스로 통합하여 연합 데이터베이스의 확장성 및 복잡성 문제를 해결한다.
• 최적화기, 모니터, 실행기, 마이그레이터 컴포넌트를 갖춘 중간층을 통해 효율적인 크로스엔진 데이터 이동 및 쿼리 실행을 가능하게 한다.
• MIMIC-II 데이터셋을 사용하여 실제 의료 데이터 기반으로 시스템의 실현 가능성과 성능을 입증한다.
• 연구 및 개발을 지원하기 위해 오픈소스 릴리스(BSD-3 라이선스)를 제공한다.

제안 방법

• 스토리지 엔진, 아일랜드(데이터 모델별로 그룹화된 엔진), 중간층(최적화기, 모니터, 실행기, 마이그레이터), 애플리케이션의 네 계층으로 BigDAWG를 아키텍처화한다.
• 스토리지 엔진 간의 이질성을 추상화하고 통합하여 액세스의 위치 독립성과 의미적 완전성을 달성하기 위해 '아일랜드'를 사용한다.
• 데이터 마이그레이션 및 아일랜드 간 스키마 번역을 표현하기 위해 '캐스트'를 일급 언어 구성요소로 구현한다 (예: bdcast, bdrel, bdarray).
• 고수준 BigDAWG 쿼리를 네이티브 쿼리 언어(예: PostgreSQL에 대한 SQL, SciDB에 대한 배열 DML)로 변환하기 위해 셰임을 활용한다.
• 쿼리 최적화기를 사용하여 실행 가능한 계획 트리를 생성하고, 이전 성능 데이터를 기반으로 최적의 엔진을 선택하기 위해 모니터를 사용한다.
• 마이그레이터 컴포넌트를 통해 네트워크 디스패치, 포맷 변환, 데이터 전송을 처리함으로써 인터아일랜드 데이터 이동을 가능하게 한다.

실험 결과

연구 질문

• RQ1 폴리스토어 아키텍처에서 이질적 데이터 스토어를 효율적으로 관리하고 쿼리하면서 성능 오버헤드를 최소화할 수 있는가?
• RQ2 폴리스토어 아키텍처에서 크로스엔진 데이터 마이그레이션 및 원격 쿼리 실행의 상대적 성능 비용은 얼마인가?
• RQ3 BigDAWG와 같은 폴리스토어 시스템이 복잡한 멀티모델 워크로드에서 단일 또는 연합 데이터베이스보다 쿼리 성능을 얼마나 향상시킬 수 있는가?
• RQ4 시스템의 중간층이 각 스토리지 엔진의 의미적 기능을 최대한 활용하면서 위치 독립성을 어떻게 균형 잡는가?
• RQ5 데이터 포맷 변환 및 네트워크 I/O를 수반하는 인터아일랜드 쿼리의 실질적인 성능 특성은 어떠한가?

주요 결과

• BigDAWG v0.1은 PostgreSQL, Accumulo, 및 SciDB를 통합하여 공통 API와 쿼리 인터페이스를 갖춘 통합 폴리스토어 시스템으로 성공적으로 구현되었다.
• 쿼리 최적화 및 실행에 대한 시스템 오버헤드는 총 실행 시간의 약 10%에 불과하여 복잡한 쿼리에 대한 런타임 비용이 낮음을 시사한다.
• 다른 스토리지 엔진 간(예: 관계형에서 배열형) 데이터 마이그레이션을 수반하는 인터아일랜드 쿼리는 네트워크 I/O, 원격 프로시저 디스패치, 데이터 전송로 인해 총 실행 시간의 약 75%를 소비한다.
• 동일한 아일랜드 내 엔진 간 마이그레이션(예: 두 개의 관계형 데이터베이스 간)은 네이티브 데이터 전송 루틴 덕분에 훨씬 빠르며, 아일랜드 내 의미적 동질성의 성능 이점을 강조한다.
• 아일랜드 간 데이터 이동이 필요한 쿼리는 단일 엔진 쿼리보다 높은 지연 시간을 보이지만, 각 데이터 유형에 최적화된 엔진을 사용함으로써 발생하는 성능 향상은 이 오버헤드를 상쇄한다.
• 이전 연구에서 MIMIC-II 데이터셋을 사용하여 입증한 바와 같이, 여러 최적화된 스토리지 엔진을 사용함으로써 복잡한 분석 작업에서 수십 배에서 수백 배의 성능 향상이 가능하다는 점을 시스템이 입증했다.