[论文解读] ElasTraS: An Elastic Transactional Data Store in the Cloud

Sudipto Das, Divyakant Agrawal+1 more|arXiv (Cornell University)|Aug 23, 2010

Distributed systems and fault tolerance参考文献 20被引用 163

一句话总结

ElasTraS 为云环境提出了一种弹性、可事务处理的数据存储系统，通过结合分区数据库设计与云弹性，实现在单个分区内的可扩展性与 ACID 兼容性。它使用轻量级事务管理器和动态分区重新分配机制，支持可扩展的串行化事务，同时通过按需付费的云基础设施实现低开销和高成本效率。

ABSTRACT

Over the last couple of years, "Cloud Computing" or "Elastic Computing" has emerged as a compelling and successful paradigm for internet scale computing. One of the major contributing factors to this success is the elasticity of resources. In spite of the elasticity provided by the infrastructure and the scalable design of the applications, the elephant (or the underlying database), which drives most of these web-based applications, is not very elastic and scalable, and hence limits scalability. In this paper, we propose ElasTraS which addresses this issue of scalability and elasticity of the data store in a cloud computing environment to leverage from the elastic nature of the underlying infrastructure, while providing scalable transactional data access. This paper aims at providing the design of a system in progress, highlighting the major design choices, analyzing the different guarantees provided by the system, and identifying several important challenges for the research community striving for computing in the cloud.

研究动机与目标

• 通过在数据存储层实现弹性，解决传统数据库在云环境中的可扩展性瓶颈。
• 在单个分区内提供 ACID 事务保证，同时支持云基础设施中的水平扩展。
• 实现动态分区重新分配和自动恢复，以实现高可用性和成本效率。
• 通过支持最小性能开销的事务语义，弥合可扩展的 NoSQL 存储与传统关系型数据库之间的差距。
• 通过轻量级、弹性的事务模型，支持主要访问单个对象或小数据集的现代 Web 工作负载。

提出的方法

• ElasTraS 将数据划分为由事务管理器（OTM）管理的逻辑分区，OTM 负责事务处理和并发控制。
• 只读事务由无状态的只读事务管理器（HTM）处理，可根据负载快速创建或移除。
• 系统使用元数据管理器跟踪分区到 OTM 的映射关系和租约信息，实现动态负载均衡和故障转移。
• 采用日志恢复机制：OTM 将日志写入弹性块存储（EBS）以保证持久性，从而在故障后实现状态恢复。
• 通过根据运行时负载动态创建或移除 OTM 和 HTM 实例，实现弹性，同时自动进行分区重新分配和元数据更新。
• 系统结合成熟的数据库技术（如并发控制、恢复机制）与可扩展系统设计原则（如 Bigtable 风格的分区），在一致性与性能之间取得平衡。

实验结果

研究问题

• RQ1 云环境中的数据存储系统如何同时实现弹性与强 ACID 事务保证？
• RQ2 哪些架构模式可实现在不影响正在进行事务的前提下，动态重新分配分区？
• RQ3 轻量级、无状态的事务管理器如何提升分布式数据存储中的可扩展性与容错能力？
• RQ4 在弹性分区事务系统中，一致性、可用性与性能之间的权衡关系是什么？
• RQ5 结合分区数据库与云弹性的混合模型，能否在最小化应用修改的前提下支持真实世界的 Web 工作负载？

主要发现

• ElasTraS 在单个数据分区内提供串行化、符合 ACID 的事务处理，确保一致性和持久性。
• 系统通过根据负载动态创建或移除 OTM 和 HTM 实例实现弹性，从而在低利用率时降低运营成本。
• 故障恢复通过基于日志的状态重建实现，OTM 在实例故障后可从 EBS 存储的日志中恢复。
• HTM 无状态且可快速实例化，可高效处理读密集型工作负载。
• 该设计支持以单键或单分区事务为主的工作负载，这类工作负载在 Web 应用中非常常见。
• 动态分区重新分配可实现 OTM 之间的负载均衡，提升系统在不同工作负载下的可扩展性和响应能力。