[論文レビュー] Brief Announcement: On Implementing Wear Leveling in Persistent Synchronization Structures

Joseph Izraelevitz, Kansara, Kush+3 more|arXiv (Cornell University)|Jan 1, 2023

Advanced Data Storage Technologies被引用数 144

ひとこと要約

本論文は、IntelのOptane DCパーサーメントメモリモジュール（PMM）の初の包括的性能評価を提示し、メインメモリの拡張および永続ストレージレイヤーとしての挙動を測定している。Optane DCはSSDに比べて顕著に低い遅延を実現し、DRAMに比べて高い容量を提供するが、非対称な帯域幅（読み取り6.6 GB/s 対 書き込み2.3 GB/s）と高い書き込み遅延が性能に影響を与えることが判明した。特に永続メモリワークロードにおいて顕著である。主な発見は、アプリケーションレベルの永続性とNVMM対応ファイルシステムを用いることで、従来のストレージスタックに比べて最大2倍の性能向上が達成可能であるということである。

ABSTRACT

The last decade has witnessed an explosion of research on persistent memory, which combines the low access latency of dynamic random access memory (DRAM) with the durability of secondary storage. Intel’s implementation of persistent memory, called Optane, comes close to realizing the game-changing potential of persistent memory in terms of performance; however, it also suffers from limited endurance and relies on a proprietary wear leveling mechanism to mitigate memory cell wear-out. The traditional embedded approach to wear leveling, in which the storage device itself maps logical addresses to physical addresses, can be fast and energy-efficient, but it is also relatively inflexible and can lead to missed opportunities for optimization. An alternative school of thought, exemplified by "open channel" solid state drives (SSDs), delegates responsibility for wear leveling to software, where it can be tailored to specific applications. In this research, we consider a hypothetical hardware platform where the same paradigm is applied to the persistent memory device, and ask how the wear leveling mechanism can be co-designed with synchronization structures that generate highly skewed memory access patterns. Building on the recent work of Liu and Golab, we implement an improved wear leveling atomic counter by leveraging hardware transactional memory in a novel way. Our solution is close to optimal with respect to both space complexity and measured performance.

研究の動機と目的

• IntelのOptane DCパーサーメントメモリモジュール（PMM）をメインメモリの拡張および永続ストレージデバイスとしての性能特性を評価すること。
• メモリ（キャッシュあり）モードとアプリケーション直接アクセス（キャッシュなし）モードの両方におけるOptane DC PMMの性能を評価すること。
• ファイルシステム、永続メモリライブラリ、ユーザースペース永続性を用いた実際のアプリケーションを用いて、Optane DCの影響を測定すること。
• マイクロベンチマークおよび本番ワークロードにおいて、Optane DCのDRAMおよびSSDとの性能を比較すること。
• パーサーメントメモリシステムにおける性能ボトルネックと機会を特定することで、今後の研究を支援すること。

提案手法

• 2つのXeonスケーラブルプロセッサを搭載した3 TBのOptane DC PMMシステムを用い、マイクロおよびマクロベンチマークを実施した。
• DRAMキャッシュを用いたキャッシュありモード（メモリモード）と、ユーザースペース直接アクセスを可能にするキャッシュなしモード（アプリケーション直接モード）の両方で性能を評価した。
• PMemKV、WHISPER、および本番アプリケーション（例：RocksDB、Redis、MongoDB）を含むさまざまなワークロードにおいて、遅延、帯域幅、スループットを測定した。
• Ext4、XFS、NOVA、およびDAX最適化版の複数のファイルシステムを用い、NVMM対応の有無を比較した。
• カーネルレベルのファイルシステムI/Oと、clwbおよびfence命令を用いたユーザースペース永続メモリプログラミングの両方を用いて性能を測定した。
• Optane DCの性能特性が及える影響を隔離するために、DRAMベースのPMem（PM-LDRAM）およびRDRAMを基準として結果を正規化した。

実験結果

リサーチクエスチョン

• RQ1 異なるアクセスパターンにおいて、Optane DC PMMの遅延および帯域幅はDRAMおよびSSDと比べてどのように異なるか？
• RQ2 キャッシュあり（メモリ）モードとキャッシュなし（アプリケーション直接）モードでのOptane DCの使用が、実際のアプリケーションに与える性能への影響は何か？
• RQ3 NVMM対応ファイルシステムおよびユーザースペース永続メモリプログラミングは、Optane DC上でアプリケーション性能をどの程度向上できるか？
• RQ4 高い書き込み頻度を示す永続データ構造およびワークロードは、DRAMと比較してOptane DC上でどのように動作するか？
• RQ5 ファイルシステム、DAX、ユーザースペース永続性といったソフトウェアスタックの選択は、Optane DC上でのエンドツーエンドアプリケーションスループットにどのように影響するか？

主な発見

• Optane DC PMMの読み取り帯域幅は6.6 GB/s、書き込み帯域幅は2.3 GB/sであり、顕著な非対称性を示しており、DRAMより346 ns高いアクセス遅延を示すが、SSDよりは低い。
• キャッシュあり（メモリ）モードでは、メモリ使用量が小さいアプリケーションには性能への影響が最小限に抑えられ、メモリ使用量が大きいアプリケーションはメモリ容量の増加により恩恵を受ける。
• アプリケーション直接（キャッシュなし）モードでは、NOVA-relaxed NVMMファイルシステムを用いることで、Kyoto Cabinetの性能が従来のファイルシステムに比べてほぼ2倍向上した。
• RocksDBなどのアプリケーションのユーザースペース永続バージョンは、ファイルシステムベースのバージョンに比べて最大2倍の高い性能を達成しており、カーネルおよびファイルシステムのオーバーヘッドを回避する利点が示された。
• WHISPERベンチマークの結果から、Optane DCはDRAMに比べてアプリケーション実行時間を平均24%長くしていることが判明した。特に書き込み中心の永続データ構造において性能差が顕著に現れた。
• Optane DCとDRAMの性能差は、書き込み中心のワークロードで最も顕著であり、PMemKVではOptane DCにおける書き込み遅延がPM-LDRAMに比べて最大2.05倍も高かった。