[논문 리뷰] HRDBMS: Combining the Best of Modern and Traditional Relational Databases

Jason Arnold, Boris Glavic외 1명|arXiv (Cornell University)|2019. 01. 24.

Advanced Database Systems and Queries참고 문헌 9인용 수 4

한 줄 요약

HRDBMS는 기존 관계형 데이터베이스 관리 시스템(RDBMS)의 쿼리 최적화 및 ACID 준수 성질을 하이브리드 분산 관계형 데이터베이스 아키텍처로 통합하여, 하이브리드 분산 관계형 데이터베이스를 제공한다. 이는 Hive와 Spark와 같은 대용량 데이터 플랫폼의 확장성과도 통합된다. SQL 워크로드에 특화된 목적 설계된 실행 엔진을 사용함으로써, 과도한 중간 결과 재료화, 통계 부족, 고정된 통신 패턴 등의 성능 저하 요인을 제거하여 복잡한 분석 쿼리에서 뛰어난 성능을 달성하면서도 전체 ACID 성질을 유지한다.

ABSTRACT

HRDBMS is a novel distributed relational database that uses a hybrid model combining the best of traditional distributed relational databases and Big Data analytics platforms such as Hive. This allows HRDBMS to leverage years worth of research regarding query optimization, while also taking advantage of the scalability of Big Data platforms. The system uses an execution framework that is tailored for relational processing, thus addressing some of the performance challenges of running SQL on top of platforms such as MapReduce and Spark. These include excessive materialization of intermediate results, lack of a global cost-based optimization, unnecessary sorting, lack of index support, no statistics, no support for DML and ACID, and excessive communication caused by the rigid communication patterns enforced by these platforms.

연구 동기 및 목표

• 스파크와 마프리듀스와 같은 대용량 데이터 플랫폼에서 SQL을 실행할 때 발생하는 성능 제약을 해결하기 위해.
• 기존 RDBMS의 강력한 쿼리 최적화 및 ACID 트랜잭션 지원 기능을 현대적인 데이터 플랫폼의 수평적 확장성과 통합하기 위해.
• 기존 대용량 데이터 SQL 엔진에서 발생하는 불필요한 정렬, 과도한 중간 결과 재료화, 통계 부족 등의 비효율을 제거하기 위해.
• 비용 기반 최적화, 인덱싱, DML 연산을 지원하는 분산 환경에서의 하이브리드 실행 프레임워크를 설계하기 위해.
• 대규모 데이터 워크로드에서 효율적이고 확장 가능하며 ACID 준수를 보장하는 SQL 처리를 가능하게 하기 위해.

제안 방법

• HRDBMS는 기존 RDBMS의 쿼리 최적화 기능과 대용량 데이터 플랫폼의 분산 확장성의 장점을 결합한 하이브리드 실행 모델을 사용한다.
• 관계형 처리에 최적화된 목적 설계된 실행 엔진을 사용하여, 마프리듀스와 스파크의 고정된 통신 패턴을 피한다.
• 분산 노드 간 통계 유지 및 인덱스 사용을 통해 글로벌 비용 기반 최적화를 지원한다.
• 쿼리 계획 단계에서 푸시다운 및 프루닝 기법을 적용하여 중간 결과 재료화를 줄인다.
• HRDBMS는 전체 DML 연산과 ACID 트랜잭션을 지원하여 분산 환경에서의 데이터 일관성을 보장한다.
• 유연한 쿼리 실행 전략을 통해 조인 처리를 효율적으로 수행하고 불필요한 정렬을 방지한다.

실험 결과

연구 질문

• RQ1 기존 RDBMS 쿼리 최적화 기법을 대용량 데이터 플랫폼의 확장성과 효과적으로 통합할 수 있는가?
• RQ2 대용량 데이터 인프라 기반의 분산 SQL 엔진에서 ACID 트랜잭션과 통계를 지원하기 위해 필요한 아키텍처적 변경 사항은 무엇인가?
• RQ3 마프리듀스와 스파크에 비해 하이브리드 실행 엔진이 중간 결과 재료화와 통신 오버헤드를 줄일 수 있는가?
• RQ4 확장성 손실 없이 분산 SQL 시스템에서 비용 기반 최적화가 쿼리 성능을 얼마나 향상시킬 수 있는가?
• RQ5 인덱싱과 통계의 통합이 대용량 데이터 SQL 엔진에서 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• HRDBMS는 중간 결과 재료화를 최소화함으로써 스파크 스퀘어와 하이브의 복잡한 분석 쿼리 대비 상당히 낮은 쿼리 실행 시간을 달성한다.
• 유지된 통계와 선택적 인덱스 사용 덕분에 비용 기반 최적화를 통해 성능 향상이 뚜렷하게 나타난다.
• 고정된 통신 패턴을 피함으로써 네트워크 I/O가 감소하고 대규모 데이터 워크로드에서의 확장성이 향상된다.
• 완전한 DML 및 ACID 지원 덕분에 대부분의 대용량 데이터 SQL 엔진에서 부재한 신뢰성 있는 트랜잭션 처리가 가능해진다.
• 하이브리드 실행 프레임워크는 복잡한 조인과 집계 작업에서 기존 플랫폼 대비 처리량과 지연 시간 모두에서 뛰어난 성능을 보인다.
• 시스템은 푸시다운 프레디케이트와 선택적 처리를 성공적으로 지원하여 데이터 이동을 줄이고 쿼리 효율성을 향상시킨다.