[論文レビュー] Multi-Tier Buffer Management and Storage System Design for Non-Volatile Memory

Joy Arulraj, Andrew Pavlo+1 more|arXiv (Cornell University)|Jan 30, 2019

Advanced Data Storage Technologies参考文献 41被引用数 18

ひとこと要約

本稿では、ワークロードおよびデバイスの特性に基づいて、DRAM、NVM、SSD間で動的にデータ移行ポリシーを適応させるNVM対応のマルチティアーバッファマネージャーおよびストレージシステム設計手法を提案する。適応的データ移行メカニズムと推薦システムを導入することで、トランザクションおよび分析ワークロードの両方において、手動チューニングを伴わずにスループットを向上させるとともにシステムコストを低減する。

ABSTRACT

The design of the buffer manager in database management systems (DBMSs) is influenced by the performance characteristics of volatile memory (DRAM) and non-volatile storage (e.g., SSD). The key design assumptions have been that the data must be migrated to DRAM for the DBMS to operate on it and that storage is orders of magnitude slower than DRAM. But the arrival of new non-volatile memory (NVM) technologies that are nearly as fast as DRAM invalidates these previous assumptions. This paper presents techniques for managing and designing a multi-tier storage hierarchy comprising of DRAM, NVM, and SSD. Our main technical contributions are a multi-tier buffer manager and a storage system designer that leverage the characteristics of NVM. We propose a set of optimizations for maximizing the utility of data migration between different devices in the storage hierarchy. We demonstrate that these optimizations have to be tailored based on device and workload characteristics. Given this, we present a technique for adapting these optimizations to achieve a near-optimal buffer management policy for an arbitrary workload and storage hierarchy without requiring any manual tuning. We finally present a recommendation system for designing a multi-tier storage hierarchy for a target workload and system cost budget. Our results show that the NVM-aware buffer manager and storage system designer improve throughput and reduce system cost across different transaction and analytical processing workloads.

研究の動機と目的

• 従来のバッファマネージャーがDRAMをデータ処理に必須と想定し、ストレージがDRAMよりも1桁以上遅いと仮定しているという限界を解消すること。
• ワークロードおよびデバイス特性に基づいてパフォーマンスとコストを最適化する、DRAM、NVM、SSDを含むマルチティアーストレージ階層の設計。
• 任意のワークロードおよびストレージ構成に対して、手動チューニングを伴わずに最適なポリシーを自動的に選択する適応的データ移行メカニズムの開発。
• 所定の予算内でターゲットワークロードに最適なコスト効率の良いマルチティアーストレージシステムを設計するための推薦システムの構築。

提案手法

• 既存の技術（例：積極的DRAM移行、DRAMバイパスなど）を一般化するNVM対応データ移行最適化の分類法を提案する。
• ワークロードおよびデバイスのI/O特性に基づいて、リアルタイムでバッファ管理ポリシーをチューニングする適応的データ移行メカニズムを導入する。
• アクセスパターン、遅延、書き込み耐久性を監視するフィードバック駆動型の適応エンジンを採用し、最適な移行戦略を選択する。
• ワークロードプロファイルとコスト制約を入力として、DRAM、NVM、SSDの最適なハードウェア構成をマッピングするストレージシステムレコメンデーションを設計する。
• ワークロード固有のプロファイリングを活用して、データ移行ポリシー（例：遅延プロモーション対積極的プロモーション）の選択を支援する。
• パフォーマンスモデリングとコスト分析を用いて、スループットとシステムコストのバランスを取ったストレージ階層を推薦する。

実験結果

リサーチクエスチョン

• RQ1 DRAM、NVM、SSDからなるマルチティアーストレージ階層において、パフォーマンスを最大化しコストを最小化するために、データ移行ポリシーをどのように最適化できるか？
• RQ2 NVMを含む環境下で最適なバッファ管理ポリシーを決定づける要因は何か。また、ワークロードおよびデバイス特性に応じてその要因はどのように変化するか？
• RQ3 自動適応メカニズムは、多様なワークロードおよびストレージ構成において、手動チューニングを伴わずに近似的に最適なバッファ管理を達成できるか？
• RQ4 与えられたワークロードおよび予算に対して、最適なマルチティアーハードウェア構成をストレージシステムデザイナーがどのように推薦できるか？

主な発見

• NVM対応バッファマネージャーは、DRAM、NVM、SSD間でのデータ移行を知的に管理することで、トランザクションおよび分析ワークロードの両方においてシステムスループットを向上させる。
• 適応的データ移行メカニズムは、リアルタイムのワークロードおよびデバイス特性に基づいてポリシーを動的に選択することで、手動チューニングを伴わずにほぼ最適なパフォーマンスを達成する。
• ストレージシステムレコメンデーションは、所定の予算内で性能目標を満たすコスト効率の良いハードウェア構成を的確に特定する。
• 提案手法は、従来のバッファ管理手法と比較して、システムコストを低減しながらも、スループットを維持または向上させる。
• 結果から、パフォーマンス向上の度合いはワークロードに依存しており、混合アクセスパターンと高いI/O変動性を示すワークロードで顕著な改善が観察された。