[論文レビュー] Topology-Aware Node Selection for Data Regeneration in Heterogeneous Distributed Storage Systems

Qingyuan Gong, Jiaqi Wang+4 more|arXiv (Cornell University)|Jun 18, 2015

Advanced Data Storage Technologies参考文献 2被引用数 4

ひとこと要約

本稿では、リンク帯域幅の非均一性を考慮して、プロバイダおよび新規参加者を戦略的に選択することにより、異種分散ストレージシステムにおけるデータ再生成時間を最小化する、トポロジーに配慮したノード選択アルゴリズムであるSPSNおよびFLEXを提案する。低帯域幅のリンクを回避し、データフローを動的に調整することで、非均一性が著しいネットワークでは、ランダム選択と比較して再生成時間を最大62.5％短縮する。

ABSTRACT

Distributed storage systems introduce redundancy to protect data from node failures. After a storage node fails, the lost data should be regenerated at a replacement storage node as soon as possible to maintain the same level of redundancy. Minimizing such a regeneration time is critical to the reliability of distributed storage systems. Existing work commits to reduce the regeneration time by either minimizing the regenerating traffic, or adjusting the regenerating traffic patterns, whereas nodes participating data regeneration are generally assumed to be given beforehand. However, such regeneration time also depends heavily on the selection of the participating nodes. Selecting different participating nodes actually involve different data links between the nodes. Real-world distributed storage systems usually exhibit heterogeneous link capacities. It is possible to further reduce the regeneration time via exploiting such link capacity differences and avoiding the link bottlenecks. In this paper, we consider the minimization of the regeneration time by selecting the participating nodes in heterogeneous networks. We analyze the regeneration time and propose node selection algorithms for overlay networks and real-world topologies. Considering that the flexible amount of data blocks from each provider may deeply influence the regeneration time, several techniques are designed to enhance our schemes in overlay networks. Experimental results show that our node selection schemes can significantly reduce the regeneration time for each topology, especially in practical networks with heterogeneous link capacities.

研究の動機と目的

• 固定されたプロバイダおよび新規参加者の選択を仮定する従来の再生成コード方式の制限を解決し、リンク容量の非均一性が再生成時間に与える影響を無視しないこと。
• 低帯域幅のリンクを回避し、ボトルネックを最小限に抑えるノード選択の最適化により、分散ストレージシステムにおけるデータ再生成時間を短縮すること。
• 変動するリンク容量を考慮し、データフローを動的に調整する適応的ノード選択アルゴリズムを設計し、実世界のデータセンタートポロジーにおける性能向上を図ること。
• 合成オーバーレイネットワークおよび実際のファットツリー構造における評価を通じて、現実的な帯域幅の非均一性下での性能向上を検証すること。
• 知能的なノード選択が、特に非均一性が著しい環境ではランダム選択を著しく上回ることを示すこと。

提案手法

• SPSN（選択的プロバイダおよび新規参加者）アルゴリズムを提案し、オーバーレイネットワークにおいて、高帯域幅のリンクを優先し、帯域幅のボトルネックを回避するようにプロバイダおよび新規参加者を選択する。
• FLEX（柔軟なエンドツーエンドトラフィック）アルゴリズムを導入し、利用可能なリンク容量に基づいて動的にデータブロックサイズを計算することで、再生成時間をさらに短縮する。
• 再生成プロセスをフロー最適化問題としてモデル化し、ボトルネックとなるリンクが全体の再生成時間を決定するものとし、修理トポロジーにおける最小リンク容量を最大化することを目的とする。
• シミュレーションにおいてリンク容量を一様分布でモデル化し、[10,120] Mbpsの範囲で変動する値を用いて、非均一性の度合いに応じた性能評価を実施する。
• NS2ベースのシミュレーションで実装および評価を行い、合成オーバーレイおよび実際のファットツリー構造の両方で、ランダム選択およびベースライン方式と比較する。
• ファットツリー構造への応用を拡張し、サーバー間スイッチ、スイッチ間、コアリンクの3段階の帯域幅非均一性をモデル化し、帯域幅比を1:5:10として段階的に増加させる。

実験結果

リサーチクエスチョン

• RQ1 リンク容量が変動する非均一な分散ストレージシステムにおいて、プロバイダおよび新規参加者の選択が再生成時間に与える影響は何か？
• RQ2 低容量リンクを避ける知的ノード選択は、ランダム選択と比較して再生成時間を著しく短縮できるか？
• RQ3 利用可能なリンク容量に基づく動的データフロー調整は、非均一ネットワークにおける再生成性能をどの程度さらに向上させられるか？
• RQ4 ネットワーク規模、プロバイダ数（d）、およびコーディングパラメータは、トポロジーに配慮したノード選択の有効性にどのように影響するか？
• RQ5 提案手法の性能は、帯域幅非均一性の度合いや、ファットツリーのような実世界のデータセンタートポロジーにおいて、どのように変化するか？

主な発見

• FLEXアルゴリズムは、リンク容量が[10,120] Mbpsの非均一性が著しいネットワークにおいて、ランダム選択と比較して再生成時間を最大62.5％短縮する。
• 中程度の非均一性（[50,120] Mbps）のネットワークでは、FLEXとSPSNの性能差が縮まり、[90,120] Mbpsではほぼ無視できるほど小さくなる。
• SPSN-Fはファットツリー構造において再生成時間を顕著に短縮し、ネットワークが大きくなるほどdの値が高くなるほど改善が顕著になる。
• プロバイダ数（d）が増加するにつれて、各プロバイダのデータ負荷が軽減されるため再生成時間が短縮され、トポロジーに配慮した選択によりこの傾向が強化される。
• ファットツリーのシミュレーションでは、SPSN-Fはランダム選択と比較して再生成時間を2〜3倍短縮し、帯域幅非均一性が著しい環境で最大の利点が得られる。
• 再生成時間はノード選択に極めて敏感である：ランダム選択では30 Mbpsのボトルネックが生じ、再生成時間が4秒に達する一方、最適な選択では1.5秒にまで短縮される。