[论文解读] BlobSeer: How to Enable Efficient Versioning for Large Object Storage under Heavy Access Concurrency

Bogdan Nicolae, Gabriel Antoniu+1 more|ArXiv.org|May 7, 2009

Advanced Data Storage Technologies参考文献 11被引用 5

一句话总结

BlobSeer 提出了一种可扩展的、基于 DHT 的分布式版本控制方案，用于在高度并发的 P2P 环境中管理大型二进制对象（blobs）。该方案采用基于 DHT 的分布式分段树来管理元数据。通过创建新的数据页而非修改现有数据页，并编织元数据以维护版本化视图，该方案在元数据开销极低的情况下实现了高吞吐量，在 175 个节点和 64 GB 大小的 blob 下仍能保持稳定的带宽，即使在高并发访问下表现稳定。

ABSTRACT

To accommodate the needs of large-scale distributed P2P systems, scalable data management strategies are required, allowing applications to efficiently cope with continuously growing, highly dis tributed data. This paper addresses the problem of efficiently stor ing and accessing very large binary data objects (blobs). It proposesan efficient versioning scheme allowing a large number of clients to concurrently read, write and append data to huge blobs that are fragmented and distributed at a very large scale. Scalability under heavy concurrency is achieved thanks to an original metadata scheme, based on a distributed segment tree built on top of a Distributed Hash Table (DHT). Our approach has been implemented and experimented within our BlobSeer prototype on the Grid'5000 testbed, using up to 175 nodes.

研究动机与目标

• 解决在高度并发、分布式的 P2P 系统中高效管理与版本化非常大且可变的二进制对象（blobs）的挑战。
• 支持在由商品化存储节点分片的超大 blob 上进行并发读取、写入和追加操作。
• 在保持原子性与版本一致性的同时，最小化元数据开销，并确保在高并发访问下具备高性能。
• 通过仅存储新数据页并编织元数据以表示过去和当前的 blob 状态，实现空间高效的版本控制。
• 设计一种可随数据大小和并发客户端数量扩展的去中心化元数据架构。

提出的方法

• 将大型 blob 拆分为固定大小的页面，并在 P2P 网络中的商品化数据提供者之间分发。
• 使用基于分布式哈希表（DHT）构建的分布式分段树数据结构来管理版本化访问的元数据。
• 去中心化元数据存储与访问，以避免瓶颈，并支持无同步的并发操作。
• 当客户端写入或追加数据时，生成新的数据页而非覆盖现有页面，以保持先前版本的不可变性。
• 将新元数据与旧元数据编织，构建 blob 当前和历史状态的完整虚拟视图。
• 将数据提供者与元数据提供者共置在节点上，以减少网络延迟，并在并发访问期间提升 I/O 并行性。

实验结果

研究问题

• RQ1 在去中心化的 P2P 系统中，如何高效支持非常大且可变的 blob 在高并发访问下的版本控制？
• RQ2 当并发客户端数量和 blob 大小增长时，何种元数据管理策略能够实现高可扩展性并保持低性能开销？
• RQ3 基于 DHT 的分布式分段树能否在无集中协调的情况下，支持对版本化 blob 的原子性、一致性与并发访问？
• RQ4 随着 blob 增大和并发性增加，元数据开销在多大程度上影响追加和读取操作的带宽？
• RQ5 当越来越多的并发读取者访问同一 blob 的不同部分时，系统性能如何表现？

主要发现

• APPPEND 操作在 blob 增大至 64 GB 时仍能保持高带宽，仅当页面数量达到 2 的幂时出现轻微下降，表明元数据扩展具有可预测性。
• 在 175 个节点下，平均读取带宽仅从 60 MB/s（1 个读取者）下降至 49 MB/s（175 个并发读取者），表明在高读取并发下具有强大的可扩展性。
• 系统在不同页面大小（64 KB 和 256 KB）下均保持稳定性能，证实无论粒度如何，元数据开销均极低。
• 去中心化元数据方案支持数据与元数据的独立并发访问，无需同步，显著提升了高负载下的吞吐量。
• 在 Grid’5000 测试平台上实现的原型系统验证了该方法的可行性与可扩展性，支持最多 175 个节点和大规模 blob 工作负载。
• 该方法通过仅存储新数据页并利用元数据编织表示历史版本，实现了空间效率，避免了数据的完整复制。