[論文レビュー] Synchronizing Edits in Distributed Storage Networks

Salim El Rouayheb, Sreechakra Goparaju+2 more|arXiv (Cornell University)|Sep 4, 2014

Advanced Data Storage Technologies参考文献 26被引用数 9

ひとこと要約

本稿では、削除および挿入を含む編集モデル下での分散ストレージシステムにおける新規な同期プロトコルを提案する。中間符号化を用い、バーデン・ヴァンデルモンド行列およびカウチ行列を用いることで、通信量が少なく、1ラウンドの更新が可能であり、最小限のストレージオーバーヘッドを実現する。主な貢献は、従来の符号化されていない、または更新効率の良い符号化方式と比較して、最悪ケースおよび平均ケースの両方で通信コストを顕著に低減したことである。

ABSTRACT

We consider the problem of synchronizing data in distributed storage networks under an edit model that includes deletions and insertions. We present two modifications of MDS, regenerating and locally repairable codes that allow updates in the parity-check values to be performed with one round of communication at low bit rates and using small storage overhead. Our main contributions are novel protocols for synchronizing both hot and semi-static data and protocols for data deduplication applications, based on intermediary permutation, Vandermonde and Cauchy matrix coding.

研究の動機と目的

• ファイルに削除や挿入などの編集が加わることで、標準的な符号化に基づく再構成や修復が困難になる分散ストレージシステムにおいて、効率的なデータ同期を実現すること。
• 従来の同期手法が符号化されていない更新や置換のみを想定しているという制限を克服し、挿入および削除に特化したプロトコルを設計すること。
• 編集の位置が未知である場合や頻繁な編集が発生する状況においても、ユーザーとストレージノード間の通信コストを最小限に抑えること。
• コーディング理論的ソリューションと編集に敏感な更新メカニズムを統合することで、ホットまたは準静的データを有するシステムにおける効率的なデータ重複除去と同期を可能にすること。
• 動的更新中でもMDS、再生可能、局所的に修復可能な符号の再生可能および修復可能特性を維持すること。

提案手法

• 通信量が少なく、1ラウンドの通信で済む効率的な同期を可能にする、新規な中間符号化方式を導入。この方式は符号表現を再構成することで実現される。
• バーデン・ヴァンデルモンド行列およびカウチ行列を用いて、ノード間での更新伝搬を効率的に行いながら、修復および再構成特性を保持する符号化方式を構築する。
• 編集位置が不明な場合、削除の位置と値の回復を最小限のオーバーヘッドで可能にするために、チェックノードにヴァルシャモフ・テネンゴールツ（VT）シンディーム情報を格納する。
• システム的MDS符号化に加え、VTシンディームをチェックノードにのみ格納することで、合計ストレージコストを k(log q + log ℓ) ビットから 2(n−k)log q ビットに削減する。
• ユーザーが一部のノードから取得したシンディームを用いて、削除の位置と値を再構成可能にするプロトコルを設計し、完全なデータ再構成なしに機能的更新を実現する。
• 集約コスト関数 C_A(V) を用いて通信コストを分析し、シンディーム交換に最適なノード集合の選定がコスト最小化に寄与することを示す。

実験結果

リサーチクエスチョン

• RQ1 挿入や削除を含む編集が発生する場合、従来の置換のみを想定する方式とは異なり、分散ストレージシステムがどのように効率的にデータを同期できるか。
• RQ2 更新時の通信コストを最小限に抑えつつ、ストレージ符号の再生可能および修復可能特性を維持するための符号化および通信プロトコルは何か。
• RQ3 編集位置が不明な状況において、中間符号化を用いることで同期のオーバーヘッドを低減可能か。また、その場合に必要な最小ストレージオーバーヘッドは何か。
• RQ4 提案されたプロトコルの通信コストは、最悪ケースおよび平均ケースの両方において、従来の符号化されていない、または置換ベースの更新方式と比較してどのように異なるか。
• RQ5 VTシンディームに基づく回復を用いる場合、ストレージオーバーヘッドと通信コストの最適なトレードオフは何か。

主な発見

• 提案された中間符号化方式により、特に削除を扱う場合、従来手法と比較して最悪ケースおよび平均ケースの両方で通信コストが顕著に低減された。
• 編集位置が不明な場合、チェックノードにVTシンディームを格納することで、合計ストレージオーバーヘッドを k(log q + log ℓ) ビットから 2(n−k)log q ビットに削減し、顕著なコスト削減を達成した。
• θ ≤ (ℓ−1)log q / log ℓ のとき、集約コスト C_A(V) は V = [B] のとき最小化され、全ノードの参加が通信効率を最適化することを示した。
• 符号化されたVTシンディームを用いることで、1つの削除が発生したユーザーは、k個のノードからの情報のみで削除の位置と値を回復可能となり、効率的な機能的更新が可能になった。
• プロトコルは、中間符号化による符号構造の変更があっても、MDS、再生可能、局所的に修復可能な符号の機能的性質を更新中も維持した。
• 理論的分析により、従来の方式は特に削除が発生する場合、提案手法と比較して顕著に高い通信レートを要することが示された。