[论文解读] LogBase: A Scalable Log-structured Database System in the Cloud

Hoang Tam Vo, Sheng Wang+3 more|arXiv (Cornell University)|Jun 30, 2012

Advanced Data Storage Technologies参考文献 28被引用 5

一句话总结

LogBase 是一种云原生、日志结构的数据库系统，通过将所有数据仅存储在日志中，消除了写入瓶颈，实现了高写入吞吐量和快速恢复。它使用内存中的多版本索引来支持高效的数据访问和事务语义，在写入可扩展性和恢复效率方面优于 HBase 和基于磁盘的日志结构系统。

ABSTRACT

Numerous applications such as financial transactions (e.g., stock trading) are write-heavy in nature. The shift from reads to writes in web applications has also been accelerating in recent years. Write-ahead-logging is a common approach for providing recovery capability while improving performance in most storage systems. However, the separation of log and application data incurs write overheads observed in write-heavy environments and hence adversely affects the write throughput and recovery time in the system. In this paper, we introduce LogBase - a scalable log-structured database system that adopts log-only storage for removing the write bottleneck and supporting fast system recovery. LogBase is designed to be dynamically deployed on commodity clusters to take advantage of elastic scaling property of cloud environments. LogBase provides in-memory multiversion indexes for supporting efficient access to data maintained in the log. LogBase also supports transactions that bundle read and write operations spanning across multiple records. We implemented the proposed system and compared it with HBase and a disk-based log-structured record-oriented system modeled after RAMCloud. The experimental results show that LogBase is able to provide sustained write throughput, efficient data access out of the cache, and effective system recovery.

研究动机与目标

• 解决金融交易和网络日志等写入密集型云应用中的写入性能瓶颈。
• 在商品云集群中实现动态弹性扩展，以应对可变工作负载。
• 支持对历史数据的分析查询，实现高效的多版本数据访问。
• 为跨多条记录的捆绑读写操作提供事务语义。
• 在机器故障后实现快速系统恢复，且不依赖内存中的数据结构。

提出的方法

• 采用仅日志存储模型，所有写入操作均追加到单个日志文件中，消除原地更新，减少磁盘 I/O 次数。
• 使用内存中的多版本索引，实现对日志中存储数据的高效点查询和范围扫描。
• 通过检查点和日志重放实现快速系统恢复，减少恢复时间，避免完整日志扫描。
• 为多条记录的读-修改-写事务提供快照隔离，确保一致性。
• 通过具有数据分区的分布式架构，在商品集群中实现系统动态扩展。
• 使用日志压缩将记录的历史版本聚类，减少扫描过程中的索引检查次数。

实验结果

研究问题

• RQ1 仅日志存储模型是否能消除写入密集型云工作负载中的写入瓶颈？
• RQ2 与 WAL+Data 和内存系统相比，仅日志存储在写入吞吐量和恢复时间方面表现如何？
• RQ3 当数据仅存储在日志中时，内存中的多版本索引能否高效支持数据访问？
• RQ4 检查点机制在基于磁盘的日志结构系统中能在多大程度上提升系统恢复性能？
• RQ5 LogBase 在多节点环境下的写入吞吐量和查询性能如何扩展？

主要发现

• LogBase 通过顺序日志写入消除随机 I/O，实现了持续的高写入吞吐量，在写入密集型工作负载中优于 HBase 和基于磁盘的系统。
• 通过检查点实现的系统恢复显著快于完整日志重放，避免扫描整个日志，从而大幅缩短恢复时间。
• 由于无需更新数据文件且 I/O 开销更低，LogBase 的恢复速度优于传统 WAL+Data 系统。
• 使用内存中的多版本索引可高效访问日志中的数据，即使在长尾查询场景下性能下降也极小。
• LogBase 的顺序扫描性能优于 LRS（基于 LevelDB 的系统），因为日志压缩后减少了索引查找开销。
• 吞吐量能随集群规模有效扩展，展示了在动态云环境中强大的水平可扩展性。