[論文レビュー] Compressed Differential Erasure Codes for Efficient Archival of Versioned Data

J. Harshan, Anwitaman Datta+1 more|arXiv (Cornell University)|Mar 17, 2015

Advanced Data Storage Technologies参考文献 9被引用数 3

ひとこと要約

本稿では、圧縮センシングとエラージャーコーディングを用いて、連続するデータバージョン間の疎行列（デルタ）のみを符号化することで、バージョン化されたデータを効率的に格納する新しい技術、圧縮微分エラージャーコーディング（DEC）を提案する。この手法は、イン-place更新や実世界の挿入/削除パターンにおいて、特にRsyncベースのシステムと比較して最大60％のストレージオーヘッド削減を達成するが、最新バージョンへのアクセスに必要なI/O効率を維持する。

ABSTRACT

In this paper, we study the problem of storing an archive of versioned data in a reliable and efficient manner in distributed storage systems. We propose a new storage technique called differential erasure coding (DEC) where the differences (deltas) between subsequent versions are stored rather than the whole objects, akin to a typical delta encoding technique. However, unlike delta encoding techniques, DEC opportunistically exploits the sparsity (i.e., when the differences between two successive versions have few non-zero entries) in the updates to store the deltas using compressed sensing techniques applied with erasure coding. We first show that DEC provides significant savings in the storage size for versioned data whenever the update patterns are characterized by in-place alterations. Subsequently, we propose a practical DEC framework so as to reap storage size benefits against not just in-place alterations but also real-world update patterns such as insertions and deletions that alter the overall data sizes. We conduct experiments with several synthetic workloads to demonstrate that the practical variant of DEC provides significant reductions in storage overhead (up to 60\% depending on the workload) compared to baseline storage system which incorporates concepts from Rsync, a delta encoding technique to store and synchronize data across a network.

研究の動機と目的

• 従来のエラージャーコーディングとデルタ符号化が、高コストなストレージとI/Oオーヘッドを伴う複数バージョンのデータ格納において非効率であるという問題に対処すること。
• 特にイン-place更新において顕著なスパarsity（疎らかさ）を示すバージョン差分（デルタ）を活用することで、ストレージを削減すること。
• 挿入や削除によってデータサイズが変化するような実世界の更新パターンに耐性を持つ実用的なDECフレームワークを設計すること。
• 特に更新のスパarsityや分布の変化に応じて、Rsyncベースのストレージなどのベースラインシステムと比較して顕著なストレージ節約を達成すること。
• 最新バージョンへの頻繁なアクセスを最適化しながら、古いバージョンへのアクセスにかかるオーバーヘッドを最小限に抑えるI/Oパフォーマンスを最適化すること。

提案手法

• 連続するデータバージョン間の疎行列（デルタ）に圧縮センシングを適用し、符号化するシンボル数を削減する。
• 圧縮されたデルタにエラージャーコーディングを適用することで、耐障害性を確保し、信頼性の高い回復を実現する。
• デルタのスパarsityレベルに応じて異なるエラージャーコードを適用する多段階DEC方式を導入する（例：$\frac{k}{2}$-レベルまたは二段階方式）。
• 挿入や削除によって発生するコーディング粒度でのリピーリング効果を緩和するために、ビットストリップィングを採用する。
• 個々の古いバージョンへのアクセスとアンサンブルアクセスの両方におけるI/Oオーバーヘッドをバランスさせるヒューリスティクスを設計する。
• オブジェクトサイズの変化に対しても固定サイズのコーディングブロックを維持できるよう、ゼロパディングとチャンク化戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングとエラージャーコーディングを組み合わせることで、スパースな更新を持つバージョン化データのストレージオーヘッドを削減できるか？
• RQ2 挿入や削除によってデータサイズが変化するような実世界の更新パターンにおいて、提案されたDECフレームワークはどのように動作するか？
• RQ3 個々の古いバージョンへのアクセスと最新バージョンへのアクセスの両方において、ストレージ節約とI/Oパフォーマンスのトレードオフはどのように変化するか？
• RQ4 更新のスパarsityや分布の変化に応じて、ストレージ効率の観点からDECの性能はRsyncベースのシステムと比べてどうなるか？
• RQ5 挿入などのサイズ変更を伴う更新に対しても耐性を持つ実用的なDECフレームワークは、高いストレージ節約を維持できるか？

主な発見

• バースト型かつ分散型の挿入ワークロードにおいて、DECはRsyncベースのシステムと比較して最大60％のストレージオーヘッド削減を達成する。
• $\frac{k}{2}$-レベルDEC方式は、バースト型および分散型の挿入においてRsyncを上回る性能を発揮するが、二段階DECはバースト型挿入においてのみRsyncを上回る。
• 更新がイン-placeかつスパースな場合にストレージ節約が最も顕著であり、更新が密またはビット単位の変更が生じる場合にはその恩恵が薄れる。
• 最適化された逆方向DECを用いても、最新バージョンの読み取りにおいてベースラインシステムとほぼ同等のI/Oパフォーマンスを維持する。
• ビットストリップィングは、挿入や削除によるリピーリング効果を緩和し、ストレージ効率を損なわずにもかかわらず耐性を高める。
• 実験的評価により、しきい値$T_{\text{opt}}$を用いた二段階DECは、スパarsityレベルが予測可能である場合に顕著な節約を達成することが示された。