[論文レビュー] Memory Allocation in Distributed Storage Networks

Mohsen Sardari, Ricardo Restrepo+2 more|arXiv (Cornell University)|Jan 18, 2010

Cooperative Communication and Network Coding参考文献 7被引用数 5

ひとこと要約

この論文は、任意の r 個のノードからファイルを再構成できる確率を最大化するために、分散ストレージノードに符号化されたファイルシンボルを最適に割り当てる方法を検討する。Poisson確率変数を用いた近似手法を提案し、シンボルの合計をモデル化することで、さまざまな予算に対して対称的割り当て（ノードが 0 個または j 個のシンボルを格納）を効率的に計算可能にする。シミュレーションにより、予算が増加するに従い、集中型から分散型への割り当ての遷移を正確に捉えられることを確認した。

ABSTRACT

We consider the problem of distributing a file in a network of storage nodes whose storage budget is limited but at least equals to the size file. We first generate $T$ encoded symbols (from the file) which are then distributed among the nodes. We investigate the optimal allocation of $T$ encoded packets to the storage nodes such that the probability of reconstructing the file by using any $r$ out of $n$ nodes is maximized. Since the optimal allocation of encoded packets is difficult to find in general, we find another objective function which well approximates the original problem and yet is easier to optimize. We find the optimal symmetric allocation for all coding redundancy constraints using the equivalent approximate problem. We also investigate the optimal allocation in random graphs. Finally, we provide simulations to verify the theoretical results.

研究の動機と目的

• 任意の r 個のノードからファイルを再構成できる確率を最大化するように、符号化されたファイルシンボルをストレージノードに分散配置する課題に対処すること。
• 元の最適化問題の計算的に不活性であることを克服するため、Poisson分布に従う確率変数を用いた扱いやすい近似を提案すること。
• 異なる再冗長性レベル（予算 T）における最適な対称的割り当て（ノードが 0 個または j 個のシンボルを格納）を特定すること。
• 予算 T が増加するに従い、集中型から最大に分散された割り当てへの遷移を分析すること。
• 対称的およびランダムグラフトポロジーにおけるシミュレーションを通じて、理論的近似の妥当性を検証すること。

提案手法

• T 個の符号化されたシンボルを n 個のノードに分散配置するファイル割り当て問題を定式化し、ファイル再構成に必要な F 個以上のシンボルを含む r ノードのサブセットの数を最大化することを目的とする。
• r 個のノードをランダムに選んだ際のシンボル数の合計を Poi(λ) 近似することで、近似目的関数を導入し、極限定理および全 variation 界により正当化する。
• 近似を用いて、j 個のシンボルを格納するノード数と j の値に依存する対称的割り当てにおける成功確率の閉形式表現を導出する。
• 探索空間を狭めるために、j ∈ {⌈F/i⌉ : i ∈ [r]} に制限し、成功確率を最大化する j を選択することで割り当てを最適化する。
• 小規模ネットワーク（n=10, n=15）におけるシミュレーションを通じて、近似値と正確な最適対称的割り当てを比較し、近似の妥当性を検証する。
• 予算範囲全体における最適割り当ての挙動を分析し、集中型と分散型の間の遷移領域を同定する。

実験結果

リサーチクエスチョン

• RQ1 ストレージ予算 T が増加するに従い、最適な符号化ファイルシンボルの割り当ては、ノードに負荷を集中させるか分散させるかという点でどのように変化するか？
• RQ2 計算的に不活性な元の最適化問題を置き換えるために、取り扱いやすい近似を構築できるか？
• RQ3 与えられた予算 T とファイルサイズ F に対して、最適な対称的割り当て（ノードあたり 0 個または j 個のシンボル）は何か？ また、r と n に依存するか？
• RQ4 Poisson近似は、r 個のノードをランダムに選んだ際のファイル再構成の真の成功確率をどれほど正確に予測できるか？
• RQ5 最適割り当ては、少数のノードにシンボルを集約する状態からすべてのノードに分散させる状態へとどの時点で遷移するか？ また、システムパラメータに応じてその遷移はどのように変化するか？

主な発見

• Poisson近似は、r 個のノードから選ばれたシンボル数の合計を正確にモデル化でき、全 variation 誤差が O(1/log n) で有界であるため、大規模ネットワークにおいて信頼性が保証される。
• 対称的割り当てにおいて、j 個のシンボルを格納するノード数は、μ/j に依存する累積Poisson確率 P(∑i=1F iXi < F) を最大化することで決定され、ここで μ = rT/n である。
• 最適割り当ては、低予算ではシンボルを最小限のノードに集中させるが、高予算ではすべてのノードに分散させる方向に遷移し、中間領域では両極端が最適でない。
• n=10, r=2 および n=15, r=5 のシミュレーションでは、近似手法が真の最適対称的割り当てをよく再現しており、近似の正確性が裏付けられた。
• 遷移領域は明確ではない。例えば n=15, r=5 の場合、T/F > 4.5 に達すると、最適なアクティブノード数は 1 から 15 へと徐々に増加する。
• 本手法は、各予算レベルにおける最適な j（ノードあたりのシンボル数）を的確に特定でき、T/F ≈ 4.5 まで j/F = 1 が最適であり、その後は j/F = 0.5 の範囲が続くが、最終的には完全に分散される。