[论文解读] Challenges and Considerations for Utilizing Burst Buffers in High-Performance Computing

Melissa Romanus, Robert Ross+1 more|arXiv (Cornell University)|Sep 18, 2015

Advanced Data Storage Technologies参考文献 1被引用 11

一句话总结

本文探讨了在百亿亿次级高性能计算（HPC）系统中集成突发缓冲器——一种高容量、低延迟的内存层——所面临的挑战与考量。文章识别了检查点重启、原位分析和外存计算等关键用例，将系统级挑战（如资源分配与数据一致性）映射到这些用例，并评估了当前最先进的解决方案（如DataWarp和DDN的Infinite Memory Engine，简称IME），这些方案在基准测试中实现了高达1,000倍的I/O性能提升。

ABSTRACT

As high-performance computing (HPC) moves into the exascale era, computer scientists and engineers must find innovative ways of transferring and processing unprecedented amounts of data. As the scale and complexity of the applications running on these machines increases, the cost of their interactions and data exchanges (in terms of latency, energy, runtime, etc.) can increase exponentially. In order to address I/O coordination and communication issues, computing vendors are developing an intermediate layer between compute nodes and the parallel file system composed of different types of memory (NVRAM, DRAM, SSD). These large scale memory appliances are being called 'burst buffers.' In this paper, we envision advanced memory at various levels of HPC hardware and derive potential use cases for how to take advantage of it. We then present the challenges and issues that arise when utilizing burst buffers in next-generation supercomputers and map the challenges to the use cases. Lastly, we discuss the emerging state-of-the-art burst buffer solutions that are expected to become available by the end of the year in new HPC systems and which use cases these implementations may satisfy.

研究动机与目标

• 识别并分析在HPC架构中跨多级突发缓冲器部署所面临的系统级挑战。
• 将这些挑战映射到特定科学工作负载和用例（如检查点重启、原位分析和工作流耦合）上。
• 评估现有突发缓冲器解决方案（如DataWarp、DDN IME）及其支持新兴HPC I/O需求的能力。
• 突出当前硬件能力与突发缓冲器在科学工作流中全面集成潜力之间的差距。
• 通过揭示资源管理、数据一致性与运行时协调方面尚未解决的问题，为未来研究提供指导。

提出的方法

• 构建了一个抽象机器模型（AMM），用于在节点本地、板卡本地、中间存储和I/O子系统等多个层级上表示集成突发缓冲器的HPC系统。
• 提出了一种分层内存模型（图1），以说明不同内存层级在带宽、延迟和成本之间的权衡。
• 识别出突发缓冲器集成影响的三个主要系统层级：应用程序、运行时环境和操作系统。
• 通过结构化分析表，将通用挑战（如资源分配、数据一致性、容错性）映射到六个具体用例。
• 评估了真实世界的突发缓冲器实现，包括Cray的DataWarp和DDN的Infinite Memory Engine（IME），重点关注其部署模式和性能声明。
• 使用未经修改的科学应用程序（如S3D）的基准结果，量化突发缓冲器加速下的I/O性能提升。

实验结果

研究问题

• RQ1 在不同架构层级（节点本地、中间层、I/O）的突发缓冲器如何影响HPC工作负载的性能与效率？
• RQ2 在支持多个用户和应用程序的突发缓冲器基础设施时，会引发哪些系统级挑战（如资源分配、数据一致性、容错性）？
• RQ3 现有突发缓冲器解决方案（如DataWarp和DDN IME）在多大程度上能够支持关键HPC用例（如检查点重启、原位分析和外存计算）？
• RQ4 对应用程序不做修改对突发缓冲器采用有何影响？这又如何影响I/O性能与数据管理？
• RQ5 突发缓冲器架构如何影响跨计算节点和并行文件系统之间的数据移动、调度与协调？

主要发现

• DDN Infinite Memory Engine（IME）在未经修改的S3D应用程序上实现了高达1,000倍的I/O加速和100倍的并行文件系统（PFS）加速，显著提升了性能。
• 突发缓冲器可通过降低I/O延迟并提升容错性，实现高效的检查点重启，尤其在与持久存储协调使用时效果更佳。
• IME具备自主管理网络拥塞和卸载I/O流量的能力，可提升高速互连的利用率，并减轻PFS的瓶颈。
• 突发缓冲器支持原位与在途分析，允许在不将数据完整移至PFS的情况下实现实时数据处理与可视化。
• 外存计算应用通过突发缓冲器减少了对较慢存储的依赖，通过将数据暂存在更快的中间内存中，避免主内存瓶颈。
• 将突发缓冲器集成到科学工作流中，可实现组件间更快的数据交换与耦合，尤其当共享数据集存储在中间内存层时更为显著。