[论文解读] Brief Announcement: On Implementing Wear Leveling in Persistent Synchronization Structures

Joseph Izraelevitz, Kansara, Kush+3 more|arXiv (Cornell University)|Jan 1, 2023

Advanced Data Storage Technologies被引用 144

一句话总结

本文对英特尔傲腾数据中心持久内存模块（Optane DC Persistent Memory Module）进行了首次深入的性能评估，测量其作为主内存扩展和持久存储层的行为表现。结果表明，尽管傲腾数据中心在延迟方面显著低于SSD，且容量远超DRAM，但其不对称带宽（读取6.6 GB/s，写入2.3 GB/s）以及更高的写入延迟对性能造成影响，尤其在持久内存工作负载中表现明显。关键发现是，应用级持久化和NVMM感知文件系统可使性能相比传统存储栈提升高达2倍。

ABSTRACT

The last decade has witnessed an explosion of research on persistent memory, which combines the low access latency of dynamic random access memory (DRAM) with the durability of secondary storage. Intel’s implementation of persistent memory, called Optane, comes close to realizing the game-changing potential of persistent memory in terms of performance; however, it also suffers from limited endurance and relies on a proprietary wear leveling mechanism to mitigate memory cell wear-out. The traditional embedded approach to wear leveling, in which the storage device itself maps logical addresses to physical addresses, can be fast and energy-efficient, but it is also relatively inflexible and can lead to missed opportunities for optimization. An alternative school of thought, exemplified by "open channel" solid state drives (SSDs), delegates responsibility for wear leveling to software, where it can be tailored to specific applications. In this research, we consider a hypothetical hardware platform where the same paradigm is applied to the persistent memory device, and ask how the wear leveling mechanism can be co-designed with synchronization structures that generate highly skewed memory access patterns. Building on the recent work of Liu and Golab, we implement an improved wear leveling atomic counter by leveraging hardware transactional memory in a novel way. Our solution is close to optimal with respect to both space complexity and measured performance.

研究动机与目标

• 评估英特尔傲腾数据中心持久内存模块（PMM）作为主内存扩展和持久存储设备的性能特性。
• 评估傲腾数据中心PMM在不同系统模式下的表现：内存（缓存）模式与应用直接访问（非缓存）模式。
• 通过文件系统、持久内存库和用户空间持久化机制，测量傲腾数据中心在真实工作负载中的影响。
• 在微基准测试和生产工作负载中，将傲腾数据中心性能与DRAM和SSD进行对比。
• 通过识别持久内存系统中的性能瓶颈与优化机会，为未来研究提供指导。

提出的方法

• 在配备双Xeon可扩展处理器的3 TB傲腾数据中心PMM系统上执行微基准和宏基准测试。
• 评估两种模式下的性能表现：使用DRAM缓存的内存（缓存）模式，以及支持用户空间直接访问的App Direct（非缓存）模式。
• 测量了包括PMemKV、WHISPER以及生产应用（如RocksDB、Redis、MongoDB）在内的多种工作负载的延迟、带宽和吞吐量。
• 使用多种文件系统：Ext4、XFS、NOVA以及DAX优化版本，对比NVMM感知与非感知的性能表现。
• 通过内核级文件系统I/O与用户空间持久内存编程（使用clwb和fence指令）测量性能表现。
• 将结果与基于DRAM的PMem（PM-LDRAM）和RDRAM进行归一化处理，以隔离傲腾数据中心性能特征的影响。

实验结果

研究问题

• RQ1 在不同访问模式下，傲腾数据中心PMM与DRAM和SSD在延迟和带宽方面的性能表现如何比较？
• RQ2 在缓存（内存）模式与非缓存（应用直接访问）模式下，傲腾数据中心对真实应用性能的影响是什么？
• RQ3 NVMM感知文件系统和用户空间持久内存编程在傲腾数据中心上能多大程度提升应用性能？
• RQ4 与DRAM相比，持久数据结构和高写入频率工作负载在傲腾数据中心上的表现如何？
• RQ5 软件栈选择（文件系统、DAX、用户空间持久化）如何影响傲腾数据中心上的端到端应用吞吐量？

主要发现

• 傲腾数据中心PMM的读取带宽为6.6 GB/s，写入带宽为2.3 GB/s，表现出显著的不对称性，其访问延迟为346 ns，高于DRAM但低于SSD。
• 在缓存（内存）模式下，小内存占用量的应用性能影响可忽略，而大内存占用量的应用则能从更大的内存容量中获益。
• 在应用直接访问（非缓存）模式下，使用NOVA-relaxed NVMM文件系统使Kyoto Cabinet的性能相比传统文件系统提升了近2倍。
• 像RocksDB这样的用户空间持久化版本应用性能相比其文件系统版本最高可提升2倍，证明了绕过内核和文件系统开销的优势。
• WHISPER基准测试结果显示，与DRAM相比，傲腾数据中心使应用执行时间平均增加24%，尤其在写入密集型持久数据结构中性能差距最大。
• 傲腾数据中心与DRAM之间的性能差距在写入密集型工作负载中最为显著，PMemKV在傲腾数据中心上的写入延迟相比PM-LDRAM最高达2.05倍。