[論文レビュー] An Empirical Guide to the Behavior and Use of Scalable Persistent Memory

Jian Yang, Juno Kim+3 more|arXiv (Cornell University)|Aug 9, 2019

Parallel Computing and Optimization Techniques参考文献 56被引用数 30

ひとこと要約

この論文は、10年間の期待を裏付けた商業的流通がなされたインテルの3D XPoint NVDIMMの実性能特性を実証的に評価し、DRAMや従来のエミュレーション手法とは顕著に異なる挙動を明らかにした。マイクロベンチマークに基づき、細粒度の書き込みを避けることや並行処理を管理することといった実用的なプログラミングガイドラインを確立し、実世界のアプリケーションで性能向上を達成した。また、不正確なエミュレーションに依存した従来の研究の仮定を無効にした。

ABSTRACT

After nearly a decade of anticipation, scalable nonvolatile memory DIMMs are finally commercially available with the release of Intel's 3D XPoint DIMM. This new nonvolatile DIMM supports byte-granularity accesses with access times on the order of DRAM, while also providing data storage that survives power outages. Researchers have not idly waited for real nonvolatile DIMMs (NVDIMMs) to arrive. Over the past decade, they have written a slew of papers proposing new programming models, file systems, libraries, and applications built to exploit the performance and flexibility that NVDIMMs promised to deliver. Those papers drew conclusions and made design decisions without detailed knowledge of how real NVDIMMs would behave or how industry would integrate them into computer architectures. Now that 3D XPoint NVDIMMs are actually here, we can provide detailed performance numbers, concrete guidance for programmers on these systems, reevaluate prior art for performance, and reoptimize persistent memory software for the real 3D XPoint DIMM. In this paper, we explore the performance properties and characteristics of Intel's new 3D XPoint DIMM at the micro and macro level. First, we investigate the basic characteristics of the device, taking special note of the particular ways in which its performance is peculiar relative to traditional DRAM or other past methods used to emulate NVM. From these observations, we recommend a set of best practices to maximize the performance of the device. With our improved understanding, we then explore the performance of prior art in application-level software for persistent memory, taking note of where their performance was influenced by our guidelines.

研究の動機と目的

• 10年間の期待を裏ける商業的流通がなされたインテルの3D XPoint NVDIMMの実性能特性を実証的に評価すること。
• 恒久記憶メモリの挙動を不正確なエミュレーションに依存した従来の研究に見られる誤解を特定・是正すること。
• 3D XPoint実ハードウェア上で性能を最大化するための明確でデータドリブンなプログラミングガイドラインを提供すること。
• シミュレートまたはエミュレートされた挙動ではなく、実ハードウェア測定値に基づいて、既存のNVMM対応ソフトウェアの再評価と再最適化を実施すること。
• 3D XPointに見られるアーキテクチャ的性能病理を特定することで、将来の恒久記憶メモリ技術を理解するためのフレームワークを提供すること。

提案手法

• 実3D XPointシステムを用いて広範なマイクロベンチマークを実施し、アクセスサイズやアクセスパターンに応じた遅延、帯域幅、並行処理効果を測定した。
• アプリケーションレベルのベンチマークを用いて、提案されたガイドラインがファイルシステムやデータ構造を含む実ソフトウェアスタックに与える影響を評価した。
• 実3D XPoint性能と一般的なエミュレーション手法（例：ソフトウェアエミュレーション、NUMAベースのエミュレーション、DRAMを恒久記憶として扱う仮定）を比較し、それらの不正確さを暴露した。
• iMCの書き込みバックアップキュー（WPQ）、XPBuffer、メモリインタリーブといったハードウェアコンponentsが性能挙動に与える影響を分析した。
• マイクロベンチマークの結果に基づき、書き込み粒度、スレッド並行処理、命令選択（例：非一時的ストア）などのベストプラクティスを策定した。
• ガイドラインを適用して既存のソフトウェアシステム（例：ファイルシステムやデータ構造）を最適化し、過去の結果を再分析することで、誤った仮定による性能差が生じることを示した。

実験結果

リサーチクエスチョン

• RQ1 3D XPoint NVDIMMの実性能特性は、DRAMや従来の研究における仮定とどのように異なるか？
• RQ2 ソフトウェアエミュレーション、NUMA効果、DRAMを恒久記憶として扱う仮定といった一般的なエミュレーション手法が、なぜ実3D XPoint挙動を予測するのに不適切なのか？
• RQ3 書き込みバッファリング、インタリーブ、並行処理といった要因が3D XPoint性能に顕著に影響を与える主なアーキテクチャ的要因は何か？
• RQ4 プログラマは3D XPoint上で性能の落とし穴を避けるためにどのようにコードを最適化できるか？また、これらのガイドラインを適用することで、どの程度の測定可能な性能向上が得られるか？
• RQ5 提案されたガイドラインは、将来の恒久記憶メモリ技術へと一般化できるか？

主な発見

• 3D XPoint NVDIMMは、アクセスサイズ、アクセスパターン、並行処理に極めて敏感な性能を示しており、これはDRAMと比べてはるかに顕著な影響を受ける。
• 3D XPointの内部書き込み粒度256 Bが、小さな非アラインド書き込みを伴うと顕著な性能劣化を引き起こす。これにより、アラインメントとコalescingが極めて重要になる。
• 複数コアからの並行書き込みは、iMCの書き込みバックアップキュー（WPQ）およびXPBufferにおける競合により、顕著な性能劣化を引き起こす。これは、並行スレッド数を最小限に抑えることで性能向上が図れることを示唆している。
• ソフトウェアエミュレーション、NUMAベースのエミュレーション、DRAMを恒久記憶として扱う仮定といった既存のエミュレーション手法は、誤った性能結果を生み出し、実ハードウェア挙動を予測するのに信頼できない。
• 非一時的ストアを用いた大容量転送や細粒度の書き込みを避けるといった提案されたガイドラインを適用することで、最適化されたソフトウェアシステムで測定可能な性能向上が得られ、提言の実用的有効性が裏付けられた。
• これらのガイドラインは、将来的な恒久記憶メモリ技術に対しても有効であり、バッファリング、インタリーブ、命令レベルの影響といった、異なるNVM技術に共通する根本的なアーキテクチャ的病理を解消するためのものである。