[論文レビュー] Durability and Availability of Erasure-Coded Storage Systems with Concurrent Maintenance

Şuayb S. Arslan|arXiv (Cornell University)|Jan 22, 2023

Advanced Data Storage Technologies被引用数 4

ひとこと要約

本稿では、時間に依存する修復、ハードエラー、セクターフェイル、および時間依存的修復を含む現実的な故障ダイナミクスを組み込んだ、同時メンテナンスを伴うエラー訂正コードストレージシステムにおける平均データ損失時間（MTTDL）を推定する一般化されたマルコフモデルを提示する。高精度な信頼性予測を実現するため、高度な確率的モデルとシミュレーションフレームワークを導入し、特にコールドストレージおよびオプティカルストレージシステムにおいて有効である。

ABSTRACT

This initial version of this document was written back in 2014 for the sole purpose of providing fundamentals of reliability theory as well as to identify the theoretical types of machinery for the prediction of durability/availability of erasure-coded storage systems. Since the definition of a "system" is too broad, we specifically focus on warm/cold storage systems where the data is stored in a distributed fashion across different storage units with or without continuous operation. The contents of this document are dedicated to a review of fundamentals, a few major improved stochastic models, and several contributions of my work relevant to the field. One of the contributions of this document is the introduction of the most general form of Markov models for the estimation of mean time to failure. This work was partially later published in IEEE Transactions on Reliability. Very good approximations for the closed-form solutions for this general model are also investigated. Various storage configurations under different policies are compared using such advanced models. Later in a subsequent chapter, we have also considered multi-dimensional Markov models to address detached drive-medium combinations such as those found in optical disk and tape storage systems. It is not hard to anticipate such a system structure would most likely be part of future DNA storage libraries. This work is partially published in Elsevier Reliability and System Safety. Topics that include simulation modelings for more accurate estimations are included towards the end of the document by noting the deficiencies of the simplified canonical as well as more complex Markov models, due mainly to the stationary and static nature of Markovinity. Throughout the document, we shall focus on concurrently maintained systems although the discussions will only slightly change for the systems repaired one device at a time.

研究の動機と目的

• 同時メンテナンス下でのエラー訂正ストレージシステムにおける耐久性および可用性を正確に予測できる一般化されたマルコフモデルの開発。
• 定常マルコフモデルの限界を克服し、時間に依存する故障・修復レートおよびマルチディスク故障耐性システムにおける無記憶仮定を扱うための課題の解決。
• 主な故障タイプとしての隠れたセクターエラーおよび回復不能ビットエラーを組み込むことで、信頼性推定の向上。
• 複数次元マルコフモデルを用いたドライブ・メディアの分離構成の正確なモデル化により、コールドストレージシステムの正確な表現を可能にする。
• 特に重要度サンプリングとHFRシミュレータを用いた高精度なシミュレーション技術により、信頼性予測の検証と強化。

提案手法

• 時間に依存する故障・修復レート関数を導入した一般化された連続時間マルコフ連鎖モデルを提案し、ディスク障害、修復、データ損失の状態遷移を表現することで、閉形式でのMTTDL推定を可能にする。
• 定常マルコフモデルの限界を克服するため、非指数分布をモデル化する時間に依存する故障・修復レート関数を導入する。
• スクラビングおよび書き込み負荷を考慮した時間に依存する確率関数 $ P_S(t) = (1 - e^{-l(t mod T_S)})P_e $ を用いたセクターレベルの故障モデルを導入する。
• ピラミッドコードやMDSベースの2次元アレイなど、高度なコード構成にモデルを適用し、コーディング方式間での性能比較を可能にする。
• 高信頼性な故障耐性システムにおけるレアイベントであるデータ損失の検出を高速化するため、重要度サンプリングを用いたシミュレーションベースの信頼性推定を実施する。
• 実世界の故障データを統合するデータ支援型モデリングフレームワークを構築し、理想化された仮定への依存を低減するとともに、モデルの忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのように一般化されたマルコフモデルを用いることで、時間に依存する故障・修復レートおよび同時メンテナンスを伴うエラー訂正ストレージシステムにおけるMTTDLを正確に推定できるか？
• RQ2 隠れたセクターエラーおよび回復不能ビットエラーがシステムの耐久性に与える影響は何か？ また、それらは確率的フレームワーク内でどのようにモデル化できるか？
• RQ3 レプリケーション、MDS、XORベースのコードなど、異なるコーディング方式は、現実的な故障ダイナミクス下でMTTDLにおいてどのように比較されるか？
• RQ4 ピラミッドコードやMDSベースの2次元アレイなど、高度なコード構成にモデルを適用し、コーディング方式間での性能比較を可能にする。
• RQ5 重要度サンプリングとHFRシミュレータを用いたシミュレーション手法は、解析的手法に比べて、まれなデータ損失イベントの推定においてどの程度優れているか？

主な発見

• 一般化されたマルコフモデルは、時間に依存する故障・修復ダイナミクスを組み込む場合、定常モデルよりもより正確なMTTDL推定を実現する。
• 関数 $ P_S(t) $ を用いたセクターエラーの組み込みにより、隠れたセクターエラーがハードビットエラーよりも頻発するため、故障レート推定が顕著に向上する。
• モデルは、修復レートのばらつきおよび障害検出遅延が再構築フェーズにおいて特に顕著にMTTDLに与える影響を示している。
• 重要度サンプリングを用いたシミュレーションにより、まれなデータ損失イベントの計算時間を短縮し、同時に分散を低く保つことができる。
• HFRシミュレータは、個々のディスクおよびセクター障害を追跡できるため、標準シミュレータに比べて、データ損失状態の正確な検出が可能であり、優れた性能を示す。
• 本研究では、実世界の故障パターンが無記憶でない場合、マルコフモデルにおける従来の指数分布仮定が、システムの耐久性を低く見積もっていることが示された。