[论文解读] Compressed Differential Erasure Codes for Efficient Archival of Versioned Data

J. Harshan, Anwitaman Datta+1 more|arXiv (Cornell University)|Mar 17, 2015

Advanced Data Storage Technologies参考文献 9被引用 3

一句话总结

该论文提出了一种新型技术——压缩差分擦除编码（Compressed Differential Erasure Coding, DEC），通过使用压缩感知和擦除编码仅对连续版本之间的稀疏差异（增量）进行编码，从而高效地存储版本化数据。与基于 Rsync 的系统相比，该方法在就地更新和现实世界中的插入/删除模式下，将存储开销最高降低了 60%，同时保持了对最新版本访问的高效 I/O 性能。

ABSTRACT

In this paper, we study the problem of storing an archive of versioned data in a reliable and efficient manner in distributed storage systems. We propose a new storage technique called differential erasure coding (DEC) where the differences (deltas) between subsequent versions are stored rather than the whole objects, akin to a typical delta encoding technique. However, unlike delta encoding techniques, DEC opportunistically exploits the sparsity (i.e., when the differences between two successive versions have few non-zero entries) in the updates to store the deltas using compressed sensing techniques applied with erasure coding. We first show that DEC provides significant savings in the storage size for versioned data whenever the update patterns are characterized by in-place alterations. Subsequently, we propose a practical DEC framework so as to reap storage size benefits against not just in-place alterations but also real-world update patterns such as insertions and deletions that alter the overall data sizes. We conduct experiments with several synthetic workloads to demonstrate that the practical variant of DEC provides significant reductions in storage overhead (up to 60\% depending on the workload) compared to baseline storage system which incorporates concepts from Rsync, a delta encoding technique to store and synchronize data across a network.

研究动机与目标

• 解决传统擦除编码和差分编码在存储多版本数据时存储和 I/O 开销过高的低效问题。
• 利用版本差异（增量）中的稀疏性以减少存储开销，尤其是在就地更新场景下。
• 设计一种对现实世界更新模式（如插入和删除）具有鲁棒性的实用 DEC 框架，这些操作会改变数据大小。
• 在不同更新稀疏度和分布下，与基线系统（如基于 Rsync 的存储）相比，实现显著的存储节省。
• 在频繁访问最新版本的同时，最小化对旧版本访问的开销，从而优化 I/O 性能。

提出的方法

• 对连续数据版本之间的稀疏增量应用压缩感知，以减少编码符号的数量。
• 对压缩后的增量使用擦除编码，以确保容错性和可靠的恢复能力。
• 引入多级 DEC 方案，根据增量的稀疏度水平应用不同的擦除编码（例如，$\frac{k}{2}$-级或两级方案）。
• 采用位分条技术，以处理导致编码粒度下产生涟漪效应的插入和删除操作。
• 设计启发式策略，以平衡访问单个旧版本与集合访问之间的 I/O 开销。
• 集成零填充和分块策略，以在对象大小变化时仍保持固定大小的编码块。

实验结果

研究问题

• RQ1 将压缩感知与擦除编码结合，能否降低稀疏更新下版本化数据的存储开销？
• RQ2 所提出的 DEC 框架在现实世界更新模式（如改变数据大小的插入和删除）下的表现如何？
• RQ3 在访问单个旧版本与最新版本之间，存储节省与 I/O 性能之间的权衡是什么？
• RQ4 在不同更新稀疏度和分布下，DEC 在存储效率方面与基于 Rsync 的系统相比表现如何？
• RQ5 实用的 DEC 框架能否在插入等改变大小的更新下保持高存储节省？

主要发现

• 在突发且分布式的插入工作负载下，DEC 相较于基于 Rsync 的系统，将存储开销最高降低了 60%。
• $\frac{k}{2}$-级 DEC 方案在突发和分布式插入场景下均优于 Rsync，而两级 DEC 仅在突发插入下优于 Rsync。
• 当更新为就地且稀疏时，存储节省最为显著，而在密集更新或位级更改下，节省程度逐渐降低。
• 即使采用优化的反向 DEC，该框架在读取最新版本时的 I/O 性能与基线系统几乎完全一致。
• 位分条技术有助于缓解插入和删除引起的涟漪效应，提高了鲁棒性，且未牺牲存储效率。
• 实验评估表明，当稀疏度水平可预测时，采用阈值 $T_{\text{opt}}$ 的两级 DEC 可实现显著的存储节省。