[论文解读] A Model and Survey of Distributed Data-Intensive Systems

Alessandro Margara, Gianpaolo Cugola+2 more|arXiv (Cornell University)|Mar 21, 2022

Distributed and Parallel Computing Systems被引用 9

一句话总结

本文提出一个统一模型，通过剖析数据模型、处理策略、一致性、容错性和部署等核心功能，对分布式数据密集型系统进行分类与比较。该模型实现了对20多个系统的系统性分类，揭示了设计权衡，并识别出诸如混合事务/分析处理以及分布式系统中对强一致性支持日益增强等新兴趋势。

ABSTRACT

Data is a precious resource in today's society, and is generated at an unprecedented and constantly growing pace. The need to store, analyze, and make data promptly available to a multitude of users introduces formidable challenges in modern software platforms. These challenges radically transformed all research fields that gravitate around data management and processing, with the introduction of distributed data-intensive systems that offer new programming models and implementation strategies to handle data characteristics such as its volume, the rate at which it is produced, its heterogeneity, and its distribution. Each data-intensive system brings its specific choices in terms of data model, usage assumptions, synchronization, processing strategy, deployment, guarantees in terms of consistency, fault tolerance, ordering. Yet, the problems data-intensive systems face and the solutions they propose are frequently overlapping. This paper proposes a unifying model that dissects the core functionalities of data-intensive systems, and precisely discusses alternative design and implementation strategies, pointing out their assumptions and implications. The model offers a common ground to understand and compare highly heterogeneous solutions, with the potential of fostering cross-fertilization across research communities and advancing the field. We apply our model by classifying tens of systems: an exercise that brings to interesting observations on the current trends in the domain of data-intensive systems and suggests open research directions.

研究动机与目标

• 通过提供一个理解与比较多样化解决方案的通用框架，应对分布式数据密集型系统日益增长的复杂性与异质性。
• 识别在大规模处理大数据时，尽管数据模型、一致性模型和部署策略存在差异，系统中反复出现的设计模式与权衡。
• 通过提供一个超越传统数据库与流处理系统之间界限的共享概念模型，促进研究社区之间的交叉融合。
• 使用所提出的模型对广泛系统（例如 Hologres、TSpoon、VoltDB）进行分类与分析，揭示当前趋势与开放的研究挑战。
• 通过突出现有系统在一致性保证、复制机制和动态重新配置方面的差距，为未来系统设计与研究提供支持。

提出的方法

• 作者定义了一个包含六个关键维度的正式模型：数据模型、处理策略、一致性模型、容错机制、部署模型和复制策略。
• 通过提取各系统在六个维度上的设计选择，将每个系统分析并映射到该模型中，从而实现系统性比较。
• 该模型支持根据功能与非功能性属性，将系统分类为 NewSQL、NoSQL、流处理引擎和混合系统等类别。
• 该方法采用基于分类的调查方式，对20多个真实世界系统（包括 Hologres、TSpoon 和 S-Store）进行分析，以验证该模型的表达力与实用性。
• 该模型融合了分布式系统与数据库理论中的概念，如组原子性与隔离级别，以形式化数据流系统中的事务语义。
• 分析涵盖静态分类以及动态方面，如负载均衡、重新配置和共享执行环境中的作业优先级管理。

实验结果

研究问题

• RQ1 如何设计一个统一模型，以在不同研究社区之间比较高度异质的分布式数据密集型系统？
• RQ2 在现代数据密集型系统中，一致性、容错性和处理策略方面的主导设计模式与权衡是什么？
• RQ3 系统在多大程度上模糊了传统数据库与流处理平台之间的界限，这对系统分类产生了何种影响？
• RQ4 在分布式数据流系统中支持强一致性与事务语义具有何种影响，它们如何影响性能与可扩展性？
• RQ5 在共享多租户数据处理环境中，复制、动态重新配置和隔离保证等方面仍存在哪些开放的研究挑战？

主要发现

• 所提出的模型成功对超过20个异构的数据密集型系统进行了分类，揭示了反复出现的设计模式，并凸显了数据库与流处理范式之间的融合趋势。
• 许多现代系统现已支持混合事务/分析处理（HTAP），其中 Hologres 和 S-Store 实现了对操作数据的实时分析。
• TSpoon 表明，通过两阶段提交和事务管理器，可以在数据流系统中实现强一致性（可串行化隔离），尽管会带来性能开销。
• 尽管已有进展，大多数系统中共享状态的复制仍实现不足，仅有少数系统（如 Hologres）将复制作为首要关注点。
• 容错性通常通过日志记录和检查点机制实现，但大多数系统仍依赖持久化存储层作为关键假设。
• 动态重新配置与负载感知调度正成为关键能力，尤其在共享多租户环境中，Hologres 展示了基于优先级的任务调度，以平衡交互式与分析型工作负载。