[论文解读] HPDedup: A Hybrid Prioritized Data Deduplication Mechanism for Primary Storage in the Cloud

Huijun Wu, Chen Wang+4 more|arXiv (Cornell University)|Feb 27, 2017

Cloud Data Security Solutions参考文献 29被引用 7

一句话总结

HPDedup 提出了一种用于云主存储的混合式、优先级 deduplication 机制，结合了内联指纹缓存与事后处理去重，实现了精确去重的同时保持低 I/O 延迟。通过动态估算多租户虚拟机之间的时序局部性，并根据预测的重复频率分配缓存，HPDedup 相较于最先进的方法，将内联缓存效率提高了最多 39.70%，并将峰值存储使用量减少了最多 45.08%。

ABSTRACT

Eliminating duplicate data in primary storage of clouds increases the cost-efficiency of cloud service providers as well as reduces the cost of users for using cloud services. Existing primary deduplication techniques either use inline caching to exploit locality in primary workloads or use post-processing deduplication running in system idle time to avoid the negative impact on I/O performance. However, neither of them works well in the cloud servers running multiple services or applications for the following two reasons: Firstly, the temporal locality of duplicate data writes may not exist in some primary storage workloads thus inline caching often fails to achieve good deduplication ratio. Secondly, the post-processing deduplication allows duplicate data to be written into disks, therefore does not provide the benefit of I/O deduplication and requires high peak storage capacity. This paper presents HPDedup, a Hybrid Prioritized data Deduplication mechanism to deal with the storage system shared by applications running in co-located virtual machines or containers by fusing an inline and a post-processing process for exact deduplication. In the inline deduplication phase, HPDedup gives a fingerprint caching mechanism that estimates the temporal locality of duplicates in data streams from different VMs or applications and prioritizes the cache allocation for these streams based on the estimation. HPDedup also allows different deduplication threshold for streams based on their spatial locality to reduce the disk fragmentation. The post-processing phase removes duplicates whose fingerprints are not able to be cached due to the weak temporal locality from disks. Our experimental results show that HPDedup clearly outperforms the state-of-the-art primary storage deduplication techniques in terms of inline cache efficiency and primary deduplication efficiency.

研究动机与目标

• 解决多租户工作负载中因共置虚拟机或容器导致时序局部性弱，从而造成云主存储中去重效率低下的挑战。
• 克服纯内联缓存（低局部性流浪费缓存空间）和纯事后处理去重（高峰值存储使用量与 I/O 开销）的局限性。
• 通过估算来自不同应用的数据流的时序局部性，优化内联去重缓存的利用率，并据此优先分配缓存。
• 通过基于空间局部性的应用特定去重阈值，减少磁盘碎片化，并提升去重效率。
• 通过有效融合内联与事后处理阶段，在主存储中实现精确去重，同时将性能影响降至最低。

提出的方法

• 提出一种动态时序局部性估算算法，用于预测来自不同虚拟机或应用的数据流中的重复频率。
• 利用估算出的局部性，优先分配指纹缓存，优先考虑预测重复频率较高的数据流。
• 基于空间局部性，为每条数据流应用可变的去重阈值，以减少磁盘碎片化。
• 采用带有优先级内存储存指纹缓存的内联去重机制，在低延迟下于写 I/O 期间消除重复数据。
• 将剩余未缓存的重复数据卸载至空闲时间运行的事后处理阶段，以实现精确去重。
• 利用未见分布估算技术（受 Valiant & Valiant 启发）估算未见重复数量，从而提升缓存效率。

实验结果

研究问题

• RQ1 如何有效估算多租户云工作负载中的时序局部性，以提升内联去重缓存效率？
• RQ2 在具有不同时间与空间局部性的多条数据流之间，最优的指纹缓存分配优先级策略是什么？
• RQ3 结合内联与事后处理去重的混合方法，能否在最小化性能退化的同时实现精确去重？
• RQ4 基于空间局部性的动态阈值设定如何减少磁盘碎片化并提升整体去重效率？
• RQ5 动态局部性估算在多大程度上可减轻事后处理去重的负担，并降低峰值存储容量需求？

主要发现

• HPDedup 相较于 iDedup，将内联缓存效率提升了最多 39.70%，显著增加了在写 I/O 期间捕获的重复数据量。
• 混合设计相较最先进的事后处理去重机制，将峰值存储容量需求降低了最多 45.08%。
• 通过优先处理高局部性数据流，HPDedup 减少了缓存污染，提升了缓存命中率，尤其在存在干扰工作负载的多租户环境中表现更优。
• 通过为每条流使用可变去重阈值，相比固定阈值方法，有效减少了磁盘碎片化并提升了 I/O 性能。
• HPDedup 在主存储中实现了精确去重，且未牺牲 I/O 延迟，优于纯内联与事后处理技术。
• 动态局部性估算模型能够准确预测重复频率，从而实现高效的缓存分配，并降低对事后处理的依赖。