[논문 리뷰] Evolutionary Data Systems

Stratos Idreos, Lukas M. Maas외 1명|arXiv (Cornell University)|2017. 06. 18.

Advanced Database Systems and Queries참고 문헌 33인용 수 5

한 줄 요약

이 논문은 변화하는 워크로드에 대응해 저장 및 액세스 방식을 자율적으로 진화시키는 새로운 데이터베이스 아키텍처인 진화적 데이터 시스템을 소개한다. 키-밸류 및 컬럼 스토어와 같은 여러 경쟁적인 아키텍처에서 자연선택 원리—예를 들어 선택 및 돌연변이—를 적용함으로써, 인간 간섭 없이 가장 적합한 구성으로 동적으로 전환하는 시스템으로, 변화하는 데이터 중심 애플리케이션을 위한 자동적이고 적응형 튜닝을 가능하게 한다.

ABSTRACT

Anyone in need of a data system today is confronted with numerous complex options in terms of system architectures, such as traditional relational databases, NoSQL and NewSQL solutions as well as several sub-categories like column-stores, row-stores etc. This overwhelming array of choices makes bootstrapping data-driven applications difficult and time consuming, requiring expertise often not accessible due to cost issues (e.g., to scientific labs or small businesses). In this paper, we present the vision of evolutionary data systems that free systems architects and application designers from the complex, cumbersome and expensive process of designing and tuning specialized data system architectures that fit only a single, static application scenario. Setting up an evolutionary system is as simple as identifying the data. As new data and queries come in, the system automatically evolves so that its architecture matches the properties of the incoming workload at all times. Inspired by the theory of evolution, at any given point in time, an evolutionary system may employ multiple competing solutions down at the low level of database architectures -- characterized as combinations of data layouts, access methods and execution strategies. Over time, "the fittest wins" and becomes the dominant architecture until the environment (workload) changes. In our initial prototype, we demonstrate solutions that can seamlessly evolve (back and forth) between a key-value store and a column-store architecture in order to adapt to changing workloads.

연구 동기 및 목표

• 다양하고 변화하는 데이터 중심 애플리케이션을 위한 정적 데이터베이스 아키텍처의 수동 선택 및 튜닝이 점점 복잡해지고 비용이 증가하는 문제를 해결하기 위해.
• 변화하는 워크로드나 애플리케이션 요구사항에 대응하지 못하는 통합형, 한정된 아키텍처의 한계를 극복하기 위해.
• 과학 연구소나 소규모 기업과 같은 자원 제약 환경에서 전문 지식 없이 최적화된 데이터 시스템을 구축할 수 있도록 하기 위해.
• 정적 데이터베이스 설계에서 지속적이고 자동적인 아키텍처 진화로의 패러다임 전환을 이끌기 위해.
• 자동화된 진화적 튜닝이 고정된 아키텍처보다 뛰어나게 되는 이유를 입증하기 위해, 저장 레이아웃, 액세스 방식, 실행 전략의 최적 조합을 동적으로 선택함으로써 성능을 최적화할 수 있음을 보여주기 위해.

제안 방법

• 자연선택에 영감을 받은 진화 프레임워크를 활용하여, 여러 경쟁적인 데이터베이스 아키텍처가 저수준에서 공존하도록 한다.
• 각 아키텍처 변형의 성능(예: 쿼리 지연, 처리량 등)을 측정하기 위해 적합도 평가를 수행한다.
• 지속적으로 새로운 저장 레이아웃, 액세스 방식, 실행 전략 조합을 생성하고 테스트하기 위해 변형과 선택 메커니즘을 적용한다.
• 실시간 워크로드 피드백에 기반해 키-밸류 스토어와 컬럼 스토어와 같은 핵심 아키텍처 간에 원활하게 전환한다.
• 응용 프로그램 수준의 변경 없이도 런타임에서의 자동 적응을 통해 시스템 내부 아키텍처를 진화시킨다.
• 기존 시스템과 통합하기 위해 런타임 중 저장 및 액세스 패턴의 재구성 기능을 제공하여 정지 시간과 데이터 이동을 최소화한다.

실험 결과

연구 질문

• RQ1 사용자 간섭 없이 변화하는 워크로드에 대응해 데이터베이스 시스템이 내부 아키텍처를 자율적으로 진화시킬 수 있는가?
• RQ2 어떻게 자연선택 원리가 저장 레이아웃 및 액세스 방식과 같은 데이터베이스 시스템 구성 요소에 적용되어 적응성을 향상시킬 수 있는가?
• RQ3 기본적으로 다른 데이터베이스 아키텍처(예: 키-밸류 스토어 대비 컬럼 스토어) 간에 원활하고 저비용 전환을 가능하게 하는 메커니즘은 무엇인가?
• RQ4 진화적 튜닝이 실세계의 동적 워크로드에서 정적이고 수동으로 최적화된 데이터베이스 아키텍처보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ5 실시간 쿼리를 처리하는 동안 아키텍처 전환 과정에서 성능과 일관성을 유지할 수 있는가?

주요 결과

• 프로토타입은 변화하는 쿼리 패턴에 대응해 키-밸류 스토어와 컬럼 스토어 아키텍처 간에 원활하고 자동으로 진화하는 것을 입증했다.
• 진화적 데이터 시스템은 실시간 워크로드 적합도 기반으로 공존하는 여러 구성 중 가장 적합한 아키텍처를 동적으로 선택할 수 있다.
• 수동 튜닝과 전문 지식의 필요성을 줄여, 소규모 기관과 연구소에서도 고성능 데이터 시스템을 쉽게 활용할 수 있도록 한다.
• 데이터베이스 아키텍처를 동적이고 진화하는 실체로 간주함으로써, 정적이고 통합형 설계보다 장기적으로 더 뛰어난 적응성을 달성한다.
• 저장, 액세스, 실행 전략 간의 아키텍처 트레이드오프를 세밀하게 자동 탐색함으로써 최적의 런타임 구성에 도달할 수 있다.
• 진화 과정은 지속적인 적응을 지원하여, 재구성이나 정지 시간 없이 워크로드 변화에 대응할 수 있다.