[论文解读] Basic Performance Measurements of the Intel Optane DC Persistent Memory Module

Joseph Izraelevitz, Jian Yang+10 more|arXiv (Cornell University)|Mar 13, 2019

Parallel Computing and Optimization Techniques参考文献 20被引用 200

一句话总结

本论文提供对英特尔 Optane DC 持久内存模块（PMM）的首个深入性能测量，评估其在多种配置、基准和实际应用中的内存与持久存储功能。报告延迟、带宽及应用层影响，为未来的 NVMM 研究与使用提供指导。

ABSTRACT

Scalable nonvolatile memory DIMMs will finally be commercially available with the release of the Intel Optane DC Persistent Memory Module (or just "Optane DC PMM"). This new nonvolatile DIMM supports byte-granularity accesses with access times on the order of DRAM, while also providing data storage that survives power outages. This work comprises the first in-depth, scholarly, performance review of Intel's Optane DC PMM, exploring its capabilities as a main memory device, and as persistent, byte-addressable memory exposed to user-space applications. This report details the technologies performance under a number of modes and scenarios, and across a wide variety of macro-scale benchmarks. Optane DC PMMs can be used as large memory devices with a DRAM cache to hide their lower bandwidth and higher latency. When used in this Memory (or cached) mode, Optane DC memory has little impact on applications with small memory footprints. Applications with larger memory footprints may experience some slow-down relative to DRAM, but are now able to keep much more data in memory. When used under a file system, Optane DC PMMs can result in significant performance gains, especially when the file system is optimized to use the load/store interface of the Optane DC PMM and the application uses many small, persistent writes. For instance, using the NOVA-relaxed NVMM file system, we can improve the performance of Kyoto Cabinet by almost 2x. Optane DC PMMs can also enable user-space persistence where the application explicitly controls its writes into persistent Optane DC media. In our experiments, modified applications that used user-space Optane DC persistence generally outperformed their file system counterparts. For instance, the persistent version of RocksDB performed almost 2x faster than the equivalent program utilizing an NVMM-aware file system.

研究动机与目标

• 将 Optane DC 内存相对于 DRAM 的基本性能特征表征。
• 评估 Optane DC PMM 在内存模式（大容量易失内存）和 App Direct 模式（持久内存）配置的性能。
• 评估 Optane DC 对系统软件、存储栈及实际应用的影响。
• 将 Optane DC 的性能与仿真方法及传统存储/磁盘基线进行比较。
• 提供数据以指导未来非易失性内存技术的研究与部署。

提出的方法

• 在多种 Optane DC 配置（内存模式和 App Direct 模式）下进行广泛的微基准和宏基准。
• 测量延迟（读取/写入）和带宽，覆盖不同访问粒度，包括 64 B、128 B、256 B 粒度，内部块对齐为 64 B，实际访问大小为 256 B。
• 使用 Intel Memory Latency Checker (MLC) 和 LATTester 内核模块，在受控条件下量化内存延迟和带宽。
• 每插槽评估六种配置：MM-LDRAM、MM-Optane-Cached、MM-Optane-Uncached、PM-Optane、PM-LDRAM、PM-RDRAM，以及基于块的基线（SSD-Optane、SSD-SATA）。
• 运行广泛工作负载，包括 SPEC CPU 2017、PARSEC、Memcached、Redis、RocksDB，以及各种持久内存文件系统（DAX 启用、NOV A）。
• 将数据汇总约 330 小时的机器时间，并在 anc/ 目录提供数据以便可重复性。

实验结果

研究问题

• RQ1 Optane DC 内存的基本性能特征是什么，与 DRAM（本地与远程）有何差异。
• RQ2 对 Optane DC 内存执行持久写入的成本是多少，持久性如何影响时序？
• RQ3 各种访问模式和数据大小如何影响 Optane DC 性能？
• RQ4 当用作 DRAM 的扩展（内存模式）以及作为持久存储（App Direct 模式）时，Optane DC 内存如何影响应用性能？
• RQ5 软件栈（文件系统、库、应用）在 Optane DC 上相较仿真方法与传统存储的表现？
• RQ6 使用 Optane DC PMM 作为持久内存时，自定义 NVMM 向应用（如 RocksDB、Redis）性能如何？

主要发现

• Optane DC PMM 的随机读取延迟约为 305 ns，相对于同平台的 DRAM 为 81 ns；顺序读取为 169 ns。达到持久性（ADR 域）的写入延迟，Optane DC 为 94 ns，DRAM 为 86 ns。
• 每设备顺序读取带宽峰值 6.6 GB/s；写带宽峰值 2.3 GB/s；六个 PMM 并行可达读取 39.4 GB/s、写 13.9 GB/s。
• 在单线程随机访问中，256 B 的内部块大小是 Optane DC 的高效粒度；更小的访问会浪费带宽并引发写放大。
• 作为主存并带缓存使用（内存模式）时，SPEC CPU 2017 整数工作负载的性能与带缓存的 Optane DC 的 DRAM 相近；未缓存的 Optane DC 慢约 38%；浮点性能下降更多（带缓存约 15%，未缓存约 61%）。Memcached 和 Redis 在启用 DRAM 缓存时显示性能损失 8.6–19.2%，未缓存 Optane DC 时损失 20.1–23.0%。
• 作为持久存储（App Direct 模式），Optane DC 显著提升存储性能，相对于 SATA SSD 和 Optane SSD，NOV A 基于 NVMM 的文件系统在某些工作负载下可实现约 2x 的提升（如 Kyoto Cabinet）。如 RocksDB 与 Redis 等应用在为内存映射访问进行优化的情况下，受益于 PM 基持久性，RocksDB 的增益在某些配置中可达 3.5x，Redis 约 3.2x。
• 在持久内存实验中，RocksDB-PMEM 相较非 PMEM 变体可实现约 3.5x 的性能领先；Redis-PMEM 的增益约为 20%（在测试设置中；结果因工作负载与软件设计而异）。