[论文解读] Evolutionary Data Systems

Stratos Idreos, Lukas M. Maas+1 more|arXiv (Cornell University)|Jun 18, 2017

Advanced Database Systems and Queries参考文献 33被引用 5

一句话总结

本文提出了一种新型数据库架构——演化数据系统，该系统能自主演化其存储与访问方法以响应不断变化的工作负载。通过在多种竞争架构（如键值存储与列存存储）之间应用进化原理（如选择与突变），系统可动态选择最适应的配置，无需人工干预，从而实现对不断演化的数据驱动应用的自动、自适应调优。

ABSTRACT

Anyone in need of a data system today is confronted with numerous complex options in terms of system architectures, such as traditional relational databases, NoSQL and NewSQL solutions as well as several sub-categories like column-stores, row-stores etc. This overwhelming array of choices makes bootstrapping data-driven applications difficult and time consuming, requiring expertise often not accessible due to cost issues (e.g., to scientific labs or small businesses). In this paper, we present the vision of evolutionary data systems that free systems architects and application designers from the complex, cumbersome and expensive process of designing and tuning specialized data system architectures that fit only a single, static application scenario. Setting up an evolutionary system is as simple as identifying the data. As new data and queries come in, the system automatically evolves so that its architecture matches the properties of the incoming workload at all times. Inspired by the theory of evolution, at any given point in time, an evolutionary system may employ multiple competing solutions down at the low level of database architectures -- characterized as combinations of data layouts, access methods and execution strategies. Over time, "the fittest wins" and becomes the dominant architecture until the environment (workload) changes. In our initial prototype, we demonstrate solutions that can seamlessly evolve (back and forth) between a key-value store and a column-store architecture in order to adapt to changing workloads.

研究动机与目标

• 解决为多样化、不断演化的数据驱动应用手动选择和调优静态数据库架构所带来的日益增长的复杂性与成本问题。
• 克服单体式、一刀切系统在应对工作负载或应用需求变化时的局限性。
• 使资源受限环境（如科研实验室与小型企业）能够在无需专业技能的情况下部署优化的数据系统。
• 推动数据库设计范式从静态架构向基于工作负载动态的持续、自动化架构演化转变。
• 证明自动化、演化的调优可超越固定架构，通过动态选择最优的存储布局、访问方法与执行策略组合，实现性能优势。

提出的方法

• 采用受自然选择启发的进化框架，使多种竞争性的数据库架构在底层共存。
• 通过适应度评估衡量每种架构变体在当前工作负载条件下的性能（如查询延迟、吞吐量）。
• 应用突变与选择机制，持续生成并测试数据布局、访问方法与执行策略的新组合。
• 根据实时工作负载反馈，无缝在核心架构（如键值存储与列存存储）之间切换。
• 通过运行时自动适应，演化系统内部架构，而无需应用层更改或人工调优。
• 通过支持运行时存储与访问模式的重新配置，与现有系统集成，最大限度减少停机时间与数据移动。

实验结果

研究问题

• RQ1 数据库系统能否在无需人工干预的情况下，自主响应工作负载变化而演化其内部架构？
• RQ2 如何将进化原理应用于数据库系统组件（如存储布局与访问方法）以提升其适应能力？
• RQ3 何种机制可实现根本性不同的数据库架构（如键值存储与列存存储）之间的无缝、低开销切换？
• RQ4 在动态、真实世界的工作负载中，演化调优在多大程度上可超越静态、手动优化的数据库架构？
• RQ5 系统在架构切换过程中如何在持续处理实时查询的同时维持性能与一致性？

主要发现

• 原型系统展示了在查询模式变化时，能无缝、自动地在键值存储与列存存储架构之间演化。
• 演化数据系统可根据实时工作负载适应度，从多个共存配置中动态选择最适应的架构。
• 该系统减少了对手动调优与专业知识的依赖，使高性能数据系统对小型组织与科研实验室更具可及性。
• 通过将数据库架构视为动态演化实体，系统在长期适应性方面优于静态、单体式设计。
• 该方法支持对存储、访问与执行策略之间架构权衡的细粒度、自动化探索，从而实现最优运行时配置。
• 演化过程支持持续适应，使系统能在不重新配置或停机的情况下响应工作负载变化。