[論文レビュー] Pond: CXL-Based Memory Pooling Systems for Cloud Platforms

Huaicheng Li, Daniel S. Berger+11 more|arXiv (Cornell University)|Mar 1, 2022

Cloud Computing and Resource Management被引用数 14

ひとこと要約

PondはCXLベースのメモリプール化システムであり、クラウドプロバイダーがDRAMコストを7%削減しつつ、同じNUMAノード性能の1〜5%以内を維持できる。機械学習を用いてVMのメモリアクセスパターンを予測し、未使用メモリを隔離するゼロコア仮想NUMA（zNUMA）アーキテクチャを採用。予測が外れた場合にはランタイム監視により遅延に敏感なワークロードをローカルメモリに戻す。

ABSTRACT

Public cloud providers seek to meet stringent performance requirements and low hardware cost. A key driver of performance and cost is main memory. Memory pooling promises to improve DRAM utilization and thereby reduce costs. However, pooling is challenging under cloud performance requirements. This paper proposes Pond, the first memory pooling system that both meets cloud performance goals and significantly reduces DRAM cost. Pond builds on the Compute Express Link (CXL) standard for load/store access to pool memory and two key insights. First, our analysis of cloud production traces shows that pooling across 8-16 sockets is enough to achieve most of the benefits. This enables a small-pool design with low access latency. Second, it is possible to create machine learning models that can accurately predict how much local and pool memory to allocate to a virtual machine (VM) to resemble same-NUMA-node memory performance. Our evaluation with 158 workloads shows that Pond reduces DRAM costs by 7% with performance within 1-5% of same-NUMA-node VM allocations.

研究の動機と目的

• ストレージや未使用メモリによるメモリ利用率の浪費を低減することで、クラウドプラットフォームにおけるDRAMコストの高騰に対処すること。
• 特にゲストOSの変更なしに動作する不透明VMを含む、厳格なクラウドパフォーマンス要件を満たすメモリプール化を実現すること。
• 複数サーバー間で動的かつコスト効率の良いメモリ共有を可能にしつつ、近似NUMAノードパフォーマンスを達成するシステムを設計すること。
• 一般のCXLハードウェアを用い、既存の仮想化スタックへの変更を最小限に抑えた実用的で導入可能なソリューションを開発すること。

提案手法

• CXL標準を活用し、ナノ秒スケールの遅延でプール化されたDRAMに対するキャッシュ可能読み書きアクセスを実現する。
• ハードウェアテレメトリから学習した機械学習モデルを用い、メモリアクセスパターンと遅延への感受性に基づいて、安全にプールメモリを利用できるVMを予測する。
• 未使用メモリをVMに露出するが、パフォーマンスに影響を与えないゼロコア仮想NUMA（zNUMA）ノードを導入し、リモートメモリへの割り当てを避けやすくする。
• ランタイムQoSモニタを用いてパフォーマンス劣化を検出し、予測が外れた場合にVMをローカルメモリに移行する。
• トレース解析に基づき、プールサイズを8〜16ソケットに制限し、CXLアクセス遅延をローカルDRAMに対して70〜90ナノ秒に抑える。
• 仮想化アクセラレータとの互換性を維持するため、静的メモリプリアロケーションを保持しつつ、物理的メモリプール化を実現する。

実験結果

リサーチクエスチョン

• RQ1 CXLを用いたメモリプール化は、パブリッククラウド環境における不透明VMに対して、近似NUMAノードパフォーマンスを達成できるか？
• RQ2 CXLアクセス遅延を低く保ちつつ、最大のコスト削減を実現するには、どの程度のプールサイズが必要か？
• RQ3 機械学習が、パフォーマンス劣化を引き起こさずに、安全にプールメモリに割り当て可能なVMを正確に予測できるか？
• RQ4 未使用メモリをVMに露出する際、遅延に敏感なワークロードに対してもパフォーマンスに影響を与えない方法は何か？
• RQ5 予測モデルの誤りが生じた場合にQoSを保証するためのメカニズムは何か？また、その是正措置はどれほどコストがかかるか？

主な発見

• Pondは16ソケットのプールを用いることで、158のワークロードにわたり、同じNUMAノードへの割り当てと比較して1〜5%以内のパフォーマンスで、DRAMコストを7%削減した。
• プールに完全に割り当てられた状態でも、43%のワークロードが140ナノ秒未満のCXLオーバーヘッドで、ローカルメモリ性能の5%以内を維持した。64ナノ秒未満のオーバーヘッドでは37%が同様の性能を達成した。
• zNUMAアーキテクチャは未使用メモリを効果的に隔離し、メモリ利用率が低いVMがリモートアクセスによってパフォーマンスに影響を受けることはなかった。
• ランタイム監視により誤予測を検出し、是正処理を実施。99.99%のVM起動でオフライン速度が1GB/s未満、99.999%のVM起動で10GB/s未満を達成した。
• 静的メモリプリアロケーションを維持することで仮想化アクセラレータとの互換性を保ち、ページフォールトやゲストOSの変更を回避した。
• CXLアクセスによる遅延が222%増加しても、DRAMコストの7%削減により、全体のクラウドサーバーコストが3.5%削減された。