[論文レビュー] Comparing cost and performance of replication and erasure coding

John G. Cook, Robert Primmer+1 more|arXiv (Cornell University)|Aug 8, 2013

Advanced Data Storage Technologies参考文献 3被引用数 5

ひとこと要約

この論文は、ストレージシステムにおけるレプリケーションとエラー訂正コード化の比較を行い、ホットデータに対しては遅延が低く回復が速いため、レプリケーションが優れたパフォーマンスと可用性を提供することを示している。一方、コールドデータに対してはエラー訂正コード化がより優れたストレージ効率を提供する。主な貢献は、データアクセスパターン、信頼性要件、コストパフォーマンスのトレードオフに基づいて、両者を選び分けるためのフレームワークであり、故障確率とシステムオーバーヘッドの実証的分析が含まれる。

ABSTRACT

Data storage systems are more reliable than their individual components. In order to build highly reliable systems out of less reliable parts, systems introduce redundancy. In replicated systems, objects are simply copied several times with each copy residing on a different physical device. While such an approach is simple and direct, more elaborate approaches such as erasure coding can achieve equivalent levels of data protection while using less redundancy. This report examines the trade-offs in cost and performance between replicated and erasure encoded storage systems.

研究の動機と目的

• ストレージコスト、パフォーマンス、データ可用性の観点から、レプリケーションとエラー訂正コード化のトレードオフを分析すること。
• データアクセスパターン（ホット対コールド）が、レプリケーションとエラー訂正コード化の最適な選択にどのように影響するかを定量化すること。
• 信頼性目標、遅延制約、ストレージ効率に基づいて、レプリケーションとエラー訂正コード化の選択を支援する意思決定フレームワークを提供すること。
• 特にマルチデータセンター展開において、データ損失（DL）とデータ非可用性（DU）の違いを明確にすること。
• 再構築時間と故障確率が、エラー訂正コード化とレプリケーションの両システムの信頼性とパフォーマンスに与える影響を評価すること。

提案手法

• 個々のディスクの故障率に基づいて、データ損失確率と非可用性確率を計算するための確率的モデルを用いる。
• 二項分布を適用して、m+nのエラー訂正コード化システムにおいて、n個を超える故障が発生する確率を推定する。
• データディスク数（m）と1ディスクあたりの故障確率（p）が与えられたもとで、目標とするデータ損失確率（ε）を達成するために必要なパリティディスク数（n）を導出する方程式を導出する。
• マルチデータセンター展開におけるシステムオーバーヘッドを分析し、2つ以上のデータセンターにわたるN+1可用性を実現するには、保護方式に関わらず100％のオーバーヘッドが必要であることを示す。
• システムサイズが増加するにつれて、二項故障分布が正規分布に収束することをモデル化し、大規模システムではデータ損失確率が漸近的に低下することを証明する。
• アクティブ（ホット）データはレプリケートし、インアクティブ（コールド）データはエラー訂正コード化するハイブリッドアプローチを提案する。アクセス頻度に応じてデータを移行する。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセンターにまたがる展開において、いかなるデータ保護方式を用いても、1つのデータセンターが故障した場合にデータ可用性を保証するために必要な最小のストレージオーバーヘッドはどれくらいか？
• RQ2 故障確率と再構築時間は、エラー訂正コード化とレプリケーションの両システムの信頼性とパフォーマンスにどのように影響するか？
• RQ3 ストレージ効率とコストの観点から、エラー訂正コード化がレプリケーションを上回る利点を示す条件は何か？
• RQ4 データアクセス頻度（ホット対コールド）は、エラー訂正コード化とレプリケーションの最適な選択にどのように影響するか？
• RQ5 システムサイズ（m+n）を比例的に増加させた場合、エラー訂正コード化システムにおけるデータ損失確率にどのような影響があるか？

主な発見

• マルチデータセンター展開において、いかなるデータ保護方式を用いても、1つのデータセンターが故障した場合にデータ可用性を保証するには、100％のストレージオーバーヘッドが必要である。
• エラー訂正コード化は、同等のデータ損失保護を維持しながら、ストレージオーバーヘッドを100％未満に抑えることができ、レプリケーションよりもストレージ効率が優れている。
• レプリケーションは、エラー訂正コード化よりも遅延が低く、再構築が速いため、高頻度アクセスを要するホットデータに対して優れた性能を発揮する。
• システムサイズ（m+n）を比例的に増加させると、故障率がしきい値未満であれば、エラー訂正コード化システムにおけるデータ損失確率は0に近づく。
• 再構築時間が長いことから、同じデータ損失保護を実現する場合でも、エラー訂正コード化システムのデータ非可用性確率は、レプリケーションシステムよりも高くなる。
• アクティブデータにはレプリケーション、インアクティブデータにはエラー訂正コード化を適用するハイブリッド戦略は、パフォーマンスとコストの両方を最適化する。これは、Microsoft Azureなどのシステムで実装されている。