[論文レビュー] FluidMem: Memory as a Service for the Datacenter

Blake Caldwell, Youngbin Im+3 more|arXiv (Cornell University)|Jul 25, 2017

Cloud Computing and Resource Management参考文献 27被引用数 5

ひとこと要約

FluidMem は、Linux の userfaultfd およびホットプラグメモリメカニズムを活用して、標準的なアプリケーションが透過的かつ遠隔メモリにアクセスできるようにする、データセンタ用の完全なメモリ・イン・サービス（MaaS）システムを導入する。MongoDB やゲノムアセンブラー、Spark、Graph500 といった変更なしのワークロードをサポートし、ローカル物理メモリの上限を超えてでも遠隔メモリをアプリケーションに提供可能であることを実証した。

ABSTRACT

Disaggregating resources in data centers is an emerging trend. Recent work has begun to explore memory disaggregation, but suffers limitations including lack of consideration of the complexity of cloud-based deployment, including heterogeneous hardware and APIs for cloud users and operators. In this paper, we present FluidMem, a complete system to realize disaggregated memory in the datacenter. Going beyond simply demonstrating remote memory is possible, we create an entire Memory as a Service. We define the requirements of Memory as a Service and build its implementation in Linux as FluidMem. We present a performance analysis of FluidMem and demonstrate that it transparently supports remote memory for standard applications such as MongoDB and genome sequencing applications.

研究の動機と目的

• ハイブリッドなハードウェアをサポートし、既存のクラウド API と統合可能なプロダクション運用に適したメモリディスaggregation システムの不足を解消すること。
• アプリケーションやオペレーティングシステムの変更なしに、スケールアップおよびスケールアウトアプリケーションに対して透過的な遠隔メモリアクセスを可能にすること。
• 仮想マシン（VM）における動的メモリ拡張をサポートする、完全でプロダクション運用に適したメモリ・イン・サービス（MaaS）の実装を提供すること。
• さまざまなバックエンドメモリストア（例：RAMCloud、キーバリューストア）およびハイブリッドネットワーキングを、実際のデータセンタ環境でサポートすること。
• ホットプラグを介して物理的な遠隔メモリをアプリケーションに直接公開することで、メモリに最適化された最適化を可能にし、OOM エラーを回避すること。

提案手法

• カーネルの変更なしに、ユーザー空間でページフォールトを処理できる Linux の userfaultfd メカニズムを活用し、柔軟で非同期的な遠隔メモリアクセスを実現する。
• Linux のホットプラグメモリインタフェースと統合し、仮想マシン（VM）における仮想メモリの動的拡張を可能にし、アプリケーションが遠隔メモリをローカルメモリと同様に認識・使用できるようにする。
• 遠隔メモリがキーバリューストア（例：RAMCloud）によってバックエンドとして提供されるように、階層的なアーキテクチャを設計し、下位のストレージおよびネットワークスタックを抽象化する。
• プラグイン可能なインタフェースを通じて複数のバックエンドメモリストア（論文では3つ評価）をサポートし、最適化と異種性を実現する。
• 既存のクラウドインfraストラクチャとの互換性を確保し、アプリケーションレベルの変更を回避するために、VM ベースのデプロイメントモデルを採用する。
• 仮想メモリフォールト処理層に遠隔メモリ抽象化を挿入することで、アプリケーションやオペレーティングシステムの意味論に干渉せずに、透過的なメモリアクセスを実現する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドなデータセンタ環境において、変更なしのクラウドアプリケーションをサポートできる、完全でプロダクション運用に適したメモリ・イン・サービス（MaaS）システムを構築可能か？
• RQ2 アプリケーションがコード変更なしに追加容量を検出・利用できるように、遠隔メモリをどのように公開できるか？
• RQ3 実世界のワークロードにおいて、ユーザー空間ベースの遠隔メモリシステムのパフォーマンスおよびスケーラビリティ特性はどのようなものか？
• RQ4 ゲノムアセンブリーやデータベースシステムのようなメモリ集約的で分散処理ではないワークロードをサポートできるほど、遠隔メモリアクセスは効率的かつ信頼性があるか？
• RQ5 仮想化されたクラウド環境において、動的メモリ拡張と隔離をどのように処理できるか？

主な発見

• FluidMem は MongoDB が遠隔メモリを透過的に使用できるようにし、拡張されたメモリ容量に基づいて内部のメモリ管理を最適化できるようにした。
• SOAPdenovo や Velvet といったゲノムシーケンシングアプリケーションは、72GB のメモリ（うちローカル60GB、FluidMemから12GB）を持つ仮想マシン上で、人間の染色体14の完全なアセンブリを完了した。このタスクは通常、メモリ不足により失敗する。
• Graph500 の BFS ベンチマークと Apache Spark は、変更なしに FluidMem 上で正常に実行され、メモリ制限の厳しい不規則なワークロードのサポートを実証した。
• 遠隔メモリアクセスの遅延は 3–5 μs の範囲に収まり、先行研究で最小限のパフォーマンス低下を許容する閾値として特定された水準を満たした。
• ホットプラグを介した透過的なメモリ拡張により、任意の単一ノードに存在する物理メモリ量を超えて、VM が動的により多くの物理メモリにアクセスできるようになった。
• userfaultfd を用いた処理により、複数のバックエンドキーバリューストアのサポートが可能になり、同時に非同期なページフォールト処理が可能となり、スケーラビリティと応答性が向上した。