[論文レビュー] Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud

Hosein Mohammadi Makrani|arXiv (Cornell University)|May 21, 2018

Advanced Data Storage Technologies被引用数 6

ひとこと要約

本稿は、ベアメタルクラウド環境におけるHadoop、Spark、MPIワークロードのI/Oおよびメモリパラメータ（DRAM容量、周波数、チャネル数）とストレージ（HDD、SSD SATA、SSD PCIe）の共同的影響を調査する。制御された実験を通じて、I/Oバウンドワークロード（例：Hadoop）はメモリパラメータにほとんど影響を受けない一方、計算・メモリバウンドワークロード（例：反復的SparkおよびMPIタスク）は高周波数・マルチチャネルDRMによって顕著な性能向上を示すことが判明。また、SSDはI/Oボトルネックを軽減するが、性能の上限をメモリサブシステムにシフトさせはしない。

ABSTRACT

As the cost-per-byte of storage systems dramatically decreases, SSDs are finding their ways in emerging cloud infrastructure. Similar trend is happening for main memory subsystem, as advanced DRAM technologies with higher capacity, frequency and number of channels are deploying for cloud-scale solutions specially for non-virtualized environment where cloud subscribers can exactly specify the configuration of underling hardware. Given the performance sensitivity of standard workloads to the memory hierarchy parameters, it is important to understand the role of memory and storage for data intensive workloads. In this paper, we investigate how the choice of DRAM (high-end vs low-end) impacts the performance of Hadoop, Spark, and MPI based Big Data workloads in the presence of different storage types on bare metal cloud. Through a methodical experimental setup, we have analyzed the impact of DRAM capacity, operating frequency, the number of channels, storage type, and scale-out factors on the performance of these popular frameworks. Based on micro-architectural analysis, we classified data-intensive workloads into three groups namely I/O bound, compute bound, and memory bound. The characterization results show that neither DRAM capacity, frequency, nor the number of channels play a significant role on the performance of all studied Hadoop workloads as they are mostly I/O bound. On the other hand, our results reveal that iterative tasks (e.g. machine learning) in Spark and MPI are benefiting from a high-end DRAM in particular high frequency and large number of channels, as they are memory or compute bound. Our results show that using SSD PCIe cannot shift the bottleneck from storage to memory, while it can change the workload behavior from I/O bound to compute bound.

研究の動機と目的

• ベアメタルクラウド環境におけるデータ集約的ワークロードのパフォーマンスに及ぼすメモリおよびストレージパラメータの共同的影響を理解すること。
• HDDからSSDに置き換えた際に、ストレージボトルネックがメモリサブシステムにシフトするかどうかを特定すること。
• Hadoop、Spark、MPIフレームワークにおけるDRAM容量、周波数、チャネル数の影響を評価すること。
• ワークロードの種別（I/Oバウンド、計算バウンド、メモリバウンド）に基づき、ハードウェア選定を支援すること。
• ワークロードの種別とパフォーマンス制約に応じたサーバー構成最適化の設計指針を提示すること。

提案手法

• IBM/SoftLayerのベアメタルクラウド環境で、Hadoop MapReduce 2.7.1、Spark 2.1.0、MPICH2 3.2を用いて制御された実験を実施。
• 主なメモリパラメータを変化：DRAM容量（128GB–512GB）、周波数（1866MHz–3200MHz）、チャネル数（2–4）。
• HDD、SSD SATA、SSD PCIeの3種類のストレージを、スケールアウト構成の異なる環境で評価。
• マイクロアーキテクチャ解析とパフォーマンスボトルネックに基づき、ワークロードをI/Oバウンド、計算バウンド、メモリバウンドの3カテゴリに分類。
• BigDataBenchおよびHiBenchの多様なワークロード（機械学習、グラフ解析、ETLタスクなど）のエンドツーエンドパフォーマンスを測定。
• I/O帯域幅の飽和に伴い性能向上が鈍化するコア数の推定式を実験的に開発。

実験結果

リサーチクエスチョン

• RQ1 ベアメタルクラウド環境において、DRAM容量、周波数、チャネル数はHadoop、Spark、MPIワークロードのパフォーマンスにどのように影響するか？
• RQ2 HDDをSSDに置き換えることで、パフォーマンスボトルネックがストレージからメモリサブシステムにシフトするか？
• RQ3 反復的、I/O集約的など、どのような種類のデータ集約的ワークロードが高価なメモリ構成で最大の恩恵を受けるか？
• RQ4 I/O帯域幅が、CPUコア数の増加に伴うパフォーマンス向上の限界をどの程度制限するか？
• RQ5 I/Oバウンド、計算バウンド、メモリバウンドのワークロード分類は、メモリおよびストレージパラメータへの感受性を予測できるか？

主な発見

• Hadoopワークロードは主にI/Oバウンドであり、容量・周波数・チャネル数に関わらず、高価なDRAMでは顕著なパフォーマンス向上を示さない。
• 反復的SparkおよびMPIワークロードはメモリまたは計算バウンドであり、高周波数・マルチチャネルDRMにより最大2.4倍のパフォーマンス向上を達成。
• HDDからSSDに置き換えることで、パフォーマンスはHadoopで1.6倍、Sparkで2.4倍、MPIで3.3倍向上し、ストレージが依然として主要なボトルネックであることが示唆された。
• SSD導入後も、マルチコアCPUのパフォーマンスはI/O帯域幅に制限され、コア数の増加による利得は閾値を超えると段階的に減少する。
• 本研究では、I/O帯域幅に基づく実験的式を用いて、CPUコア数のパフォーマンス飽和点を予測可能であると特定。
• 結果から、I/Oバウンドワークロードではメモリサブシステムの最適化だけでは効果がなく、高価なメモリ投資の前にストレージのアップグレードが不可欠であることが示された。