[论文解读] Development of a Burst Buffer System for Data-Intensive Applications

Teng Wang, Sarp Oral+3 more|arXiv (Cornell University)|May 7, 2015

Advanced Data Storage Technologies参考文献 5被引用 5

一句话总结

本文提出了一种与Lustre并行文件系统集成的高性能突发缓冲系统，以缓解数据密集型科学工作负载中的I/O瓶颈。通过采用客户端-服务器架构、一致性哈希算法以及分层存储（DRAM/SSD），该系统显著提升了检查点I/O性能，在数据完全驻留在内存时，最高可实现980 MB/s的入站带宽，相较于原生Lustre，性能提升达2.78倍。

ABSTRACT

Modern parallel filesystems such as Lustre are designed to provide high, scalable I/O bandwidth in response to growing I/O requirements; however, the bursty I/O characteristics of many data-intensive scientific applications make it difficult for back-end parallel filesystems to efficiently handle I/O requests. A burst buffer system, through which data can be temporarily buffered via high-performance storage mediums, allows for gradual flushing of data to back-end filesystems. In this paper, we explore issues surrounding the development of a burst buffer system for data-intensive scientific applications. Our initial results demonstrate that utilizing a burst buffer system on top of the Lustre filesystem shows promise for dealing with the intense I/O traffic generated by application checkpointing.

研究动机与目标

• 解决超级计算性能与存储系统可扩展性之间的I/O带宽差距问题。
• 缓解科学应用中因突发I/O模式（尤其是检查点阶段）导致的I/O瓶颈。
• 设计一种可靠且可扩展的突发缓冲系统，通过在高速存储中缓冲数据，实现计算与I/O的解耦。
• 在突发缓冲服务器发生故障时，实现快速崩溃恢复与故障容错能力。
• 优化数据在突发缓冲服务器间的分布与刷新策略，实现负载均衡并最大化吞吐量。

提出的方法

• 部署三层架构：计算节点上的客户端、突发缓冲节点上的服务器守护进程，以及负责维护服务器环的集中式管理器。
• 使用一致性哈希算法将键值对分布到服务器上，实现高效的负载均衡与动态扩展。
• 实现服务器间协调机制：负载过重的服务器向邻居节点查询可用内存，并将客户端重定向至负载较轻的节点。
• 利用混合存储（DRAM与SSD）吸收高吞吐量I/O，当内存耗尽时，数据自动溢出至SSD。
• 使用Infiniband连接的节点与IOR基准测试工具，在不同配置与工作负载下评估系统性能。
• 采用日志结构化写入模式，模拟真实突发缓冲行为，评估SSD使用效率。

实验结果

研究问题

• RQ1 如何有效吸收科学应用检查点产生的突发I/O流量？
• RQ2 哪些机制可确保数据在突发缓冲服务器间均衡分布，并防止性能瓶颈？
• RQ3 在分层存储模型中集成DRAM与SSD对I/O吞吐量与延迟有何影响？
• RQ4 与直接写入后端并行文件系统相比，突发缓冲系统在多大程度上能提升I/O性能？
• RQ5 系统如何在服务器故障时保持可靠性，并实现快速崩溃恢复？

主要发现

• 在使用ISO数据放置策略时，突发缓冲系统相较原生IOR-SF的I/O带宽平均提升278.2%，相较IOR-SFP提升174.5%。
• BB-IOR-ISO表现最佳，当数据完全驻留在内存（分配4GB）时，峰值入站带宽达980 MB/s。
• 混合内存/SSD模式（bbIORHYB）性能达302.29 MB/s，显著优于直接SSD I/O（166.7 MB/s），归因于优化的写入顺序。
• bbIORSSD场景（所有数据溢出至SSD）达到198.83 MB/s，与SSD顺序写入性能（205.99 MB/s）非常接近，验证了高效日志结构化写入机制。
• 系统在增加服务器数量时表现出带宽的线性增长，尤其在ISO策略下，表明具有出色的可扩展性。
• 未使用突发缓冲时，直接写入SATA HDD的I/O速度仅为27.11 MB/s，凸显缓冲机制在降低I/O竞争中的关键作用。