[논문 리뷰] Towards Polyglot Data Stores -- Overview and Open Research Questions

Daniel Glake, Felix Kiehn외 3명|arXiv (Cornell University)|2022. 04. 12.

Advanced Database Systems and Queries인용 수 4

한 줄 요약

이 논문은 다양한 상호 모순되는 트랜잭션 및 분석 워크로드를 처리하는 데에 단일 데이터베이스 시스템의 한계를 해결하기 위해 폴리글랏 데이터 스토어를 조사한다. 기반으로 기능적 및 비기능적 요구사항을 최적의 데이터 스토어 토폴로지에 매핑하는 선언적이고 적응형 메디에이터를 제안하며, 적응성은 장기적인 시스템의 탄력성과 성능 향상에 핵심적인 요소로 강조된다.

ABSTRACT

Nowadays, data-intensive applications face the problem of handling heterogeneous data with sometimes mutually exclusive use cases and soft non-functional goals such as consistency and availability. Since no single platform copes everything, various stores (RDBMS, NewSQL, NoSQL) for different workloads and use-cases have been developed. However, since each store is only a specialization, this motivates progress in polyglot data management emerged new systems called Mult- and Polystores. They are trying to access different stores transparently and combine their capabilities to achieve one or multiple given use-cases. This paper describes representative real-world use cases for data-intensive applications (OLTP and OLAP). It derives a set of requirements for polyglot data stores. Subsequently, we discuss the properties of selected Multi- and Polystores and evaluate them based on given needs illustrated by three common application use cases. We classify them into functional features, query processing technique, architecture and adaptivity and reveal a lack of capabilities, especially in changing conditions tightly integration. Finally, we outline the benefits and drawbacks of the surveyed systems and propose future research directions and current challenges in this area.

연구 동기 및 목표

• 일致성, 가용성, 성능 등의 상호 모순되는 비기능적 특성을 요구하는 현대 애플리케이션에서 이질적인 데이터 워크로드를 관리하는 과제를 해결한다.
• 현재의 폴리글랏 및 멀티스토어 시스템의 한계, 특히 런타임 적응성과 동적 토폴로지 관리의 부재를 규명한다.
• 기능적 및 비기능적 요구사항(예: 일관성 수준, 지연 시간 제약)을 함께 애너테이션한 데이터 스키마의 선언적, 애플리케이션 수준의 사양 모델을 제안한다.
• 이러한 애너테이션을 바탕으로 데이터를 적절한 데이터 스토어로 선택하고 라우팅하는 스마트하고 자동화된 메디에이터를 설계하여 최적의 시스템 토폴로지를 달성한다.
• 런타임 모니터링과 토폴로지 재구성 기반으로 애플리케이션 및 데이터 요구사항 변화에 자율적으로 적응할 수 있도록 한다.

제안 방법

• 실제 사례 3가지—전자상거래(OLTP), 분석(OLAP), 하이브리드 OLTP/OLAP—을 통해 데이터 관리에 필요한 대표적인 요구사항을 유도한다.
• 폴리글랏 데이터 스토어가 지원해야 할 기능적 및 비기능적 기능(예: 일관성 수준, 쿼리 인터페이스, 스키마 유연성)의 프레임워크를 수립한다.
• 아키텍처, 쿼리 처리, 적응성 차원에서 기존 폴리글랏 및 멀티스토어 시스템(예: BigDAWG, Polypheny-DB)을 조사하고 비교한다.
• 기능적 및 비기능적 요구사항(예: '읽기-쓰기 일致성', '낮은 쓰기 지연 시간')을 애너테이션할 수 있는 선언적 스키마 애너테이션 모델을 제안한다.
• 스토어의 능력과 애너테이션된 요구사항을 기반으로 스키마 요소를 적절한 데이터 스토어에 매핑하는 스마트 랭킹 및 라우팅 알고리즘을 설계한다.
• 런타임에서 성능 또는 가용성 변화에 대응해 토폴로지 및 라우팅 정책을 재구성할 수 있도록 모니터링 및 피드백 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 이상적인 이질적 데이터 스토어 토폴로지로의 초기 애플리케이션 요구사항 매핑 방법은 무엇인가?
• RQ2 요구사항과 데이터 워크로드가 시간이 지남에 따라 변화함에 따라 스키마 요소와 데이터 스토어 간의 동적 매핑을 어떻게 유지할 수 있는가?
• RQ3 성능, 일관성 또는 가용성 향상을 위해 데이터 이관 또는 스토어 추가/제거를 통해 토폴로지 적응을 언제, 어떤 조건에서 트리거해야 하는가?
• RQ4 쿼리 처리 중 개별 데이터 스토어의 고유한 기능(예: 특수 색인, 일관성 모델)을 어떻게 최대한 활용하면서도 의미의 완전성을 유지할 수 있는가?
• RQ5 폴리글랏 시스템은 어떻게 모니터링되어야 하며, 이를 통해 기반 데이터 스토어 구성에 대한 자율적이고 자기 적응형 결정을 내릴 수 있는가?

주요 결과

• 현재의 폴리글랏 및 멀티스토어 시스템은 런타임 적응성이 현저히 부족하여 변화하는 워크로드나 요구사항에 대응하지 못하는 정적 구성에 의존한다.
• 대부분의 조사된 시스템은 뚜렷한 통합 패턴으로 인해 개별 데이터 스토어의 고유 기능(예: 전용 색인, 일관성 모델)을 충분히 활용하지 못한다.
• 런타임 모니터링 및 피드백 루프의 부재로 인해 성능 또는 가용성 변화에 대응해 시스템이 자동으로 토폴로지를 재구성할 수 없다.
• 이 논문은 적응성을 미래의 폴리글랏 데이터 스토어의 핵심 과제이자 핵심 추진력으로 규명하며, 동적 재구성의 오버헤드를 상회할 잠재적인 성능 향상을 강조한다.
• 선언적이고 애너테이션 기반의 스키마 사양 방식은 기능적 및 비기능적 요구사항을 정밀하게 표현할 수 있으며, 자동화된 토폴로지 선택의 기초를 마련한다.
• 제안된 메디에이터 프레임워크는 지능적이고 자동화된 매핑 및 라우팅을 통해 애플리케이션 수준의 SLA와 저수준 데이터 스토어 기능 간 격차를 메우는 데 목적이 있다.