[論文レビュー] The Preliminary Evaluation of a Hypervisor-based Virtualization Mechanism for Intel Optane DC Persistent Memory Module

Takahiro Hirofuchi, Ryousei Takano|arXiv (Cornell University)|Jul 28, 2019

Parallel Computing and Optimization Techniques参考文献 1被引用数 11

ひとこと要約

本稿では、ハイブリッドメモリシステムにおけるDRAMとIntel Optane DCPMM間のメモリマッピングを動的に最適化する仮想化機構RAMinateを提案する。ホットメモリページを高速なDRAMに移動させることで、RAMinateはパフォーマンス劣化を低減する。VMに1%のDRAMしか割り当てない状況でも、カーネルビルド時間は100% DRAMの場合と比較してわずか13%増加（557秒）に抑えられるのに対し、最適化を無効にした場合では26%増加（624秒）にまで上昇する。

ABSTRACT

Non-volatile memory (NVM) technologies, being accessible in the same manner as DRAM, are considered indispensable for expanding main memory capacities. Intel Optane DCPMM is a long-awaited product that drastically increases main memory capacities. However, a substantial performance gap exists between DRAM and DCPMM. In our experiments, the read/write latencies of DCPMM were 400% and 407% higher than those of DRAM, respectively. The read/write bandwidths were 37% and 8% of those of DRAM. This performance gap in main memory presents a new challenge to researchers; we need a new system software technology supporting emerging hybrid memory architecture. In this paper, we present RAMinate, a hypervisor-based virtualization mechanism for hybrid memory systems, and a key technology to address the performance gap in main memory systems. It provides great flexibility in memory management and maximizes the performance of virtual machines (VMs) by dynamically optimizing memory mappings. Through experiments, we confirmed that even though a VM has only 1% of DRAM in its RAM, the performance degradation of the VM was drastically alleviated by memory mapping optimization. The elapsed time to finish the build of Linux Kernel in the VM was 557 seconds, which was only 13% increase from the 100% DRAM case (i.e., 495 seconds). When the optimization mechanism was disabled, the elapsed time increased to 624 seconds (i.e. 26% increase from the 100% DRAM case).

研究の動機と目的

• メインメモリシステムにおけるDRAMとIntel Optane DCPMMの間の顕著なパフォーマンス格差を是正すること。
• 仮想化環境においてVMがハイブリッドメモリに依存する中で、DCPMMの遅延の高いアクセスを克服すること。
• ホットページを高速なDRAMに動的に配置することで、仮想マシンにおける効率的で柔軟なメモリ管理を可能にすること。
• 知的なメモリマッピングにより、最小限のDRAM使用（1%）でもDRAMに近いパフォーマンスを達成できることを実証すること。
• NVMを活用したハイブリッドメモリアーキテクチャにおけるパフォーマンス最大化を実現する将来のシステムソフトウェアの基盤を構築すること。

提案手法

• QEMU/KVM上で動作するハイパーバイザーレベルの仮想化機構としてRAMinateを実装し、DRAMとDCPMM間のハイブリッドメモリを管理する。
• 実時間のメモリアクセスパターンをモニタリングするために、パフォーマンスカウンタとipmctlユーティリティを活用する。
• アクセス頻度に基づいてホットゲスト物理ページを動的に特定し、遅延を低減するためにDRAMに移動させる。
• 5秒ごとにメモリマッピング最適化を実行し、1サイクルあたり最大1,000ペアのページを移動させる。
• DCPMMのMemory ModeとApp Direct Modeの両方をサポートするが、完全なソフトウェア管理を可能にするためにApp Direct Modeに焦点を当てる。
• Linuxカーネル（4.19.16拡張版）と統合し、低レベルのメモリ監視と制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハイパーバイザーベースの仮想化機構は、ハイブリッドDRAM-DCPMMメモリを使用するVMにおけるパフォーマンス劣化を顕著に低減できるか？
• RQ2 動的メモリマッピング最適化は、DCPMMの高遅延および低帯域幅の影響を最小限に抑えるのにどの程度有効か？
• RQ3 RAMinateを用いる場合、VMのメモリ割り当てに1%のDRAMしか使用しない状況でどの程度のパフォーマンス向上が達成できるか？
• RQ4 同じハードウェアとワークロード条件下で、RAMinateを有効にしたVMと最適化なしのVMのパフォーマンスはどのように比較されるか？
• RQ5 計算集約的ワークロード中に変化するメモリアクセスパターンに、継続的なページ移行がどの程度適応するか？

主な発見

• DCPMMはDRAMと比較して、読み取り遅延が400%高く、書き込み遅延が407%高い一方、読み取り帯域幅は37%、書き込み帯域幅は8%にとどまる。
• RAMinateを有効にした状態でVMの4GBメモリに1%のDRAMしか割り当てない場合、カーネルビルド時間は557秒にまで短縮され、100% DRAMの基準（495秒）と比較してわずか13%増加に抑えられる。
• 最適化機構を無効にした場合、カーネルビルド時間は624秒にまで上昇し、100% DRAMのケースと比較して26%増加する。
• 最適化後、DRAMのトラフィックはDCPMMのトラフィックの50%にまで低下し、ホットページが効果的にDRAMに移行されたことが示された。
• ページ移行活動は当初最も高く、約120秒後に減少し、ホットページの特定と移行が完了したことでRAMinateが安定したことが示された。
• この機構はワークロードの変化に継続的に適応し、変化するメモリアクセスパターンにリアルタイムで対応していることが実証された。