[論文レビュー] Understanding the Performance of Ceph Block Storage for Hyper-Converged Cloud with All Flash Storage

Moo-Ryong Ra|arXiv (Cornell University)|Feb 22, 2018

Advanced Data Storage Technologies参考文献 4被引用数 4

ひとこと要約

この論文は、すべてフラッシュのハイパーコンバージドクラウド環境におけるCephブロックストレージを評価し、マイクロベンチマーク結果、導入の課題、および5年間の総所有コスト（TCO）モデルを提示する。ハイパーコンバージドアーキテクチャは、特にスケーリング時および低利用率の場合に、専用ストレージと比較してインfra構成コストを最大2倍まで削減できることを示している。

ABSTRACT

Hyper-converged cloud refers to an architecture that an operator runs compute and storage services on the same set of physical servers. Although the hyper-converged design comes with a number of benefits, it makes crucial operational tasks, such as capacity planning and cost analysis, fairly complicated. The problem becomes more onerous if we consider a complex distributed system, such as Ceph, for the cloud with the proliferation of SSD drives. In this paper, we aim to answer some of these questions based on comprehensive microbenchmarks, and consequently better understand the behavior of Ceph in a hyper-converged cloud with all-flash storage. We reported our findings based on the study, devised a cost model and compared the cost of hyper-converged architecture with dedicated storage architecture. Additionally we summarized our experience based on the interactions with many teams at AT&T in the past couple of years.

研究の動機と目的

• すべてフラッシュのハイパーコンバージドクラウドワークロードにおけるCephブロックストレージのパフォーマンスボトルネックを理解すること。
• 読み取りおよび書き込みI/O操作におけるシステムリソース（CPU、メモリ、ネットワーク）の消費を定量的に評価すること。
• 5年間のTCOを想定した、ハイパーコンバージドアーキテクチャと専用ストレージアーキテクチャを比較する実用的なコストモデルを開発すること。
• 本番データセンタにソフトウェア定義ストレージを導入する際の実際の導入課題を文書化すること。
• すべてフラッシュのハイパーコンバージドクラウド環境のインfra構築アーキテクトがコスト効率の高い意思決定を下せるように支援すること。

提案手法

• すべてフラッシュストレージを搭載した目的特化Cephクラスタを用いて、I/Oパフォーマンスおよびリソース利用状況を測定する包括的なマイクロベンチマークを実施した。
• 読み取りと書き込み操作における非対称なリソース消費を分析し、CPUおよびストレージデーモンが主なボトルネックであることを同定した。
• ハイパーコンバージドおよび専用ストレージ構成の両方について、ハードウェア、ソフトウェア、サポート、電力/冷却、運用コストを含む5年間TCOモデルを構築した。
• AT&T社内の実際の導入データを活用してコスト仮定を設定し、モデルパラメータの妥当性を検証した。
• ストレージ対コンピューティング比（10％〜70％）の変動がコスト効率およびパフォーマンスに与える影響を評価した。
• 0〜500のデータセンタを想定したコストトレンドを予測し、ハイパーコンバージド設計のスケーラビリティの利点を評価した。

実験結果

リサーチクエスチョン

• RQ1 すべてフラッシュのハイパーコンバージドクラウドワークロードにおけるCephブロックストレージのパフォーマンスボトルネックはどこにあるか？
• RQ2 Cephにおける読み取りおよび書き込みI/O操作は、システムリソース（CPU、メモリ、ネットワーク）をどのように非対称に消費するか？
• RQ3 5年間の総所有コスト（TCO）において、ハイパーコンバージドアーキテクチャと専用ストレージアーキテクチャの差は何か？
• RQ4 データセンタ数の増加およびストレージ対コンピューティング比の変動に伴い、ハイパーコンバージドストレージのコスト効率はどのように変化するか？
• RQ5 本番データセンタにCephのようなソフトウェア定義ストレージを導入する際、どのような運用上の課題が生じるか？

主な発見

• すべてフラッシュストレージを搭載したCephでは、高いIOPSと整合性保証のため、パフォーマンスボトルネックが主にディスクI/OからCPU、ネットワーク、ストレージデーモンにシフトしている。
• Cephのストレージプール構成におけるレプリケーションおよびジャーナリングのオーバーヘッドにより、書き込みI/Oは読み取りI/Oと比較して最大9倍のCPUリソースを消費する。
• ハイパーコンバージドアーキテクチャは、特に全体的なシステム利用率が低い場合に、ハードウェア調達コストを顕著に削減できる。
• スケーリング時（例：500のデータセンタ）において、ハイパーコンバージドモデルは専用ストレージと比較してTCOを最大2倍まで削減でき、主にサーバおよびインfraコストの低減によるものである。
• 本研究で検討されたワークロードでは、NVMe SSDは過剰な投資であることが判明し、多くのハイパーコンバージドワークロードではコスト効率の良いSSDで十分である可能性がある。
• 本番環境にソフトウェア定義ストレージを導入するには、信頼性、セキュリティ、バックアップ、監視の分野で膨大な作業が必要であり、各問題の解決に多大な時間がかかる。