[論文レビュー] Basic Performance Measurements of the Intel Optane DC Persistent Memory Module

Joseph Izraelevitz, Jian Yang+10 more|arXiv (Cornell University)|Mar 13, 2019

Parallel Computing and Optimization Techniques参考文献 20被引用数 200

ひとこと要約

この論文は、Intel Optane DC Persistent Memory Module (PMM) の初の詳細な性能測定を提供し、複数の構成、ベンチマーク、および実アプリケーションを通じてメモリと永続ストレージの両方として評価しています。遅延、帯域、およびアプリケーションレベルの影響を報告し、今後の NVMM 研究と活用を導くものです。

ABSTRACT

Scalable nonvolatile memory DIMMs will finally be commercially available with the release of the Intel Optane DC Persistent Memory Module (or just "Optane DC PMM"). This new nonvolatile DIMM supports byte-granularity accesses with access times on the order of DRAM, while also providing data storage that survives power outages. This work comprises the first in-depth, scholarly, performance review of Intel's Optane DC PMM, exploring its capabilities as a main memory device, and as persistent, byte-addressable memory exposed to user-space applications. This report details the technologies performance under a number of modes and scenarios, and across a wide variety of macro-scale benchmarks. Optane DC PMMs can be used as large memory devices with a DRAM cache to hide their lower bandwidth and higher latency. When used in this Memory (or cached) mode, Optane DC memory has little impact on applications with small memory footprints. Applications with larger memory footprints may experience some slow-down relative to DRAM, but are now able to keep much more data in memory. When used under a file system, Optane DC PMMs can result in significant performance gains, especially when the file system is optimized to use the load/store interface of the Optane DC PMM and the application uses many small, persistent writes. For instance, using the NOVA-relaxed NVMM file system, we can improve the performance of Kyoto Cabinet by almost 2x. Optane DC PMMs can also enable user-space persistence where the application explicitly controls its writes into persistent Optane DC media. In our experiments, modified applications that used user-space Optane DC persistence generally outperformed their file system counterparts. For instance, the persistent version of RocksDB performed almost 2x faster than the equivalent program utilizing an NVMM-aware file system.

研究の動機と目的

• Optane DC メモリの基本的な性能特性を DRAM と比較して特徴づける。
• Memory モード（大容量揮発性メモリ）と App Direct モード（永続メモリ）構成での Optane DC PMM を評価する。
• Optane DC がシステムソフトウェア、ストレージスタック、および実世界のアプリケーションに与える影響を評価する。
• Optane DC の性能をエミュレーション手法や従来のストレージ/ディスクのベースラインと比較する。
• 非揮発性メモリ技術の今後の研究と導入を導くデータを提供する。

提案手法

• 複数の Optane DC 構成（Memory モードと App Direct モード）にわたる広範なマイクロおよびマクロベンチマークを実施する。
• 64 B，128 B，256 B の粒度を含む様々なアクセスサイズで、内部ブロック整列が 64 B で、実アクセスサイズが 256 B に達するような遅延（読み取り/書き込み）と帯域を測定する。
• Intel Memory Latency Checker（MLC）と LATTester カーネルモジュールのようなツールを用いて、制御された条件下でメモリ遅延と帯域を定量化する。
• ソケットあたり六つの構成を評価する：MM-LDRAM、MM-Optane-Cached、MM-Optane-Uncached、PM-Optane、PM-LDRAM、PM-RDRAM、さらにブロックベースのベースライン（SSD-Optane、SSD-SATA）。
• SPEC CPU 2017、PARSEC、Memcached、Redis、RocksDB そして各種永続メモリファイルシステム（DAX-enabled、NOVA）を含む広範なワークロードを実行する。
• 約330時間程度のマシン時間をデータ集計に用い、再現性のためにanc/ディレクトリにデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 Optane DC メモリの基本的な性能特性はどのようで、DRAM（ローカルおよびリモート）とはどう異なるか。
• RQ2 Optane DC メモリへの永続的書き込みを行うコストはどの程度で、永続性はタイミングにどう影響するか。
• RQ3 さまざまなアクセスパターンやデータサイズは Optane DC の性能にどう影響するか。
• RQ4 DRAM の拡張としてのメモリモードと、永続ストレージとしての App Direct モードの両方で、Optane DC メモリはアプリケーション性能にどのような影響を与えるか。
• RQ5 ソフトウェアスタック（ファイルシステム、ライブラリ、アプリケーション）は、エミュレーション手法や従来のストレージと比べて Optane DC にどう適合するか。
• RQ6 カスタム NVMM 指向アプリケーション（例：RocksDB、Redis）は、永続メモリとして Optane DC PMM を使用した場合どう性能を発揮するか。

主な発見

• Optane DC PMM のランダムロードの読み取り遅延は約305 ns、同じプラットフォームの DRAM は約81 ns; 連続ロードは169 ns。永続性を達成する書き込み遅延（ADR ドメイン）は Optane DC が約94 ns、DRAM が約86 ns。
• デバイスあたりの連続読み取り帯域はピークで6.6 GB/s、書き込み帯域はピークで2.3 GB/s。六つの PMM を並列に使用すると、読み取りが39.4 GB/s、書き込みが13.9 GB/s に達する。
• 単一スレッドのランダムアクセスで、内部ブロックサイズ256 B が Optane DC の効率的な粒度であり、より小さなアクセスは帯域を浪費し、書き込み増幅を惹起する。
• キャッシュ付き（Memory モード）でメインメモリとして使用すると、SPEC CPU 2017 の整数ワークロードは DRAM に近いパフォーマンスを示す；キャッシュ付き Optane DC は約同等、未キャッシュ Optane DC は約38%遅い；浮動小数点性能はより低下（キャッシュ付き約-15%、未キャッシュ約-61%）を見せる。MemcachedとRedis は DRAM キャッシュ有効時に8.6–19.2%の性能低下、未キャッシュ Optane DC で20.1–23.0%の低下を示す。
• 永続ストレージ（App Direct モード）として、Optane DC は SATA SSDs および Optane SSDs よりも大幅にストレージ性能を向上させ、NOVA ベースの NVMM ファイルシステムは特定ワークロード（例：京都府 Cabinet など）で最大約2倍の改善を示す。RocksDB や Redis のようなアプリケーションは、メモリマップドアクセスに最適化されると PM ベースの永続性から恩恵を受け、RocksDB の利得は最大で約3.5x、Redis は特定の構成で約3.2x程度。
• 永続メモリ実験では RocksDB-PMEM が非 PMEM バリアントを最大約3.5x上回る場合があり、Redis-PMEM の利得は試験設定で約20%程度。結果はワークロードとソフトウェア設計により異なる。