[论文解读] Bloscpack: a compressed lightweight serialization format for numerical data

Valentin Haenel|arXiv (Cornell University)|Apr 25, 2014

Algorithms and Data Compression参考文献 3被引用 3

一句话总结

Bloscpack 是一种用于数值数据的快速、压缩、轻量级序列化格式，利用 Blosc 编解码器实现对 Numpy ndarrays 的高速压缩与解压缩。由于 Blosc 的多线程、缓存优化和混洗过滤压缩机制，在低熵数据集上，其压缩速度比 NPZ 和 ZFile 快达 300 倍，从而在 I/O 受限环境中同时实现存储节省与性能提升。

ABSTRACT

This paper introduces the Bloscpack file format and the accompanying Python reference implementation. Bloscpack is a lightweight, compressed binary file-format based on the Blosc codec and is designed for lightweight, fast serialization of numerical data. This article presents the features of the file-format and some some API aspects of the reference implementation, in particular the ability to handle Numpy ndarrays. Furthermore, in order to demonstrate its utility, the format is compared both feature- and performance-wise to a few alternative lightweight serialization solutions for Numpy ndarrays. The performance comparisons take the form of some comprehensive benchmarks over a range of different artificial datasets with varying size and complexity, the results of which are presented as the last section of this article.

研究动机与目标

• 设计一种轻量级、压缩的文件格式，以高效序列化数值数据，特别是 Numpy ndarrays。
• 通过结合快速压缩与 I/O 效率，利用 Blosc 的多线程和缓存优化架构，减少总序列化时间。
• 在压缩速度和 I/O 受限场景下，超越现有轻量级序列化格式（如 NPZ、ZFile、NPY）的表现。
• 评估 Blosc 的混洗过滤器和多线程机制在不同数据熵水平和存储类型下的压缩性能影响。
• 提供一个生产就绪的 Python 参考实现，支持数值数组的高效、实时压缩与解压缩。

提出的方法

• Bloscpack 格式以 Blosc 编解码器为核心压缩引擎，将数据分割为块以支持多线程处理。
• 应用混洗过滤器，按重要性重新排列多字节元素（如 64 位双精度浮点数），提升时间序列等数据的可压缩性。
• 通过 Blosc 的可扩展元压缩器接口，支持多种压缩编解码器（blosclz、Snappy、LZ4、Zlib）。
• Python 参考实现原生支持 Numpy ndarrays，实现零拷贝序列化和高效的内存布局。
• 在 SSD 和 SD 存储上，对具有不同大小和熵水平的人工数据集进行基准测试，以评估不同 I/O 条件下的性能表现。
• 在热缓存和冷 I/O 条件下测量压缩与解压缩时间，以评估实际性能表现。

实验结果

研究问题

• RQ1 压缩序列化格式能否通过减少 I/O 和 CPU 开销，实现比无压缩格式更快的总序列化时间？
• RQ2 Bloscpack 使用多线程、基于块的压缩与混洗过滤器，在不同熵水平的数值数据集上如何影响性能？
• RQ3 Bloscpack 是否在压缩速度上超越 NPZ 和 ZFile，特别是在压缩效果最佳的低熵数据集上？
• RQ4 存储 I/O 速度（SSD 与 SD 卡）如何影响 Bloscpack 相较于其他格式的性能优势？
• RQ5 为何 NPZ 和 ZFile 在低熵数据集上表现出异常缓慢的压缩速度？Bloscpack 的方法能否缓解此问题？

主要发现

• 在低熵数据集上，Bloscpack 的压缩速度达到 0.446 秒，而 NPZ 需要 302 秒，性能提升达 300 倍。
• 即使在可压缩性极低的高熵数据集上，Bloscpack 仍显著快于 NPZ 和 ZFile，因其能快速检测并直接复制未压缩数据。
• 在 SD 存储（I/O 受限）环境下，对于中等和大尺寸的低熵数据集，Bloscpack 比 NPY 快一个数量级，归因于更高的压缩率降低了 I/O 量。
• 在 SD 存储环境下，中熵、中等大小数据集上，Bloscpack 在压缩阶段的速度是 NPY 的两倍。
• NPZ 和 ZFile 在低熵数据上表现出异常缓慢的压缩速度，可能是因为此类数据在 DEFLATE 算法下的 Lempel-Ziv 复杂度较高，且缺乏混洗过滤器。
• 在低熵数据上，Bloscpack 的压缩比优于 NPY；在中熵数据上，优于 NPZ 和 ZFile；在高熵数据上，压缩比趋近于零。