[论文解读] Data Compression for Analytics over Large-scale In-memory Column Databases

Chunbin Lin, Jianguo Wang+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Data Storage Technologies参考文献 8被引用 3

一句话总结

本文研究了在大规模内存列式数据库中用于OLAP工作负载的数据压缩的可行性。文章认为，某些压缩技术——如字典编码、游程编码（RLE）和位图编码——可以通过允许直接在压缩数据上操作，从而加速查询处理，减少内存使用和I/O开销。其主要贡献是一个基于数据特征选择最优压缩方案的决策框架，其中vsb-RLE和压缩位图表现出优越的性能和空间效率。

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

研究动机与目标

• 确定在I/O成本不再为主要瓶颈的内存列式数据库中，数据压缩是否仍具优势。
• 识别哪些压缩方案可实现在不进行解压缩的情况下直接对压缩数据执行查询处理，从而提升性能。
• 基于列类型（整数/字符串）、排序状态和域大小，提供系统化的最优压缩技术选择框架。
• 评估并优化如vsb-RLE和压缩位图等压缩方案在内存OLAP工作负载中的表现。
• 证明某些压缩方法可同时减少内存占用并加速主内存数据库中的查询执行。

提出的方法

• 分析在内存列式存储环境中广泛使用的压缩方案——字典编码、游程编码（RLE）、位图编码和Huffman编码。
• 评估每种方案在支持直接在压缩数据上进行查询处理方面的能力，区分支持原地操作的方案与需要完整解压缩的方案。
• 提出vsb-RLE（值大小位字典RLE），一种结合可变大小RLE与按位对齐字典编码的混合压缩方法，特别适用于排序后的整数列。
• 引入bit-DICT优化，通过仅对值（而非运行长度）进行编码，进一步压缩RLE编码后的数据，同时保持性能并减少存储空间。
• 通过实验评估测量解压缩时间和空间节省效果，尤其关注在Zipf分布数据下Huffman编码的表现。
• 开发决策树（图2），根据列类型、排序状态和域大小指导压缩方案的选择。

实验结果

研究问题

• RQ1 在I/O不再为主要瓶颈的内存列式数据库中，数据压缩是否仍然有益？
• RQ2 哪些压缩方案允许在不进行解压缩的情况下直接对压缩数据执行查询处理，从而提升性能？
• RQ3 如何针对内存数据库中的整数类型列优化压缩方案，以在保持快速查询执行的同时减少存储空间？
• RQ4 在内存列式数据库中使用Huffman编码的性能与空间权衡如何？
• RQ5 应依据哪些标准来为内存OLAP数据库中的特定列选择最优压缩方案？

主要发现

• 数据压缩在内存列式数据库中依然有益，不仅可减少内存占用，还可通过使用支持在压缩数据上直接操作的压缩方案来提升查询性能。
• 字典编码、RLE（包括vsb-RLE）和压缩位图编码允许直接在压缩数据上处理查询，相比未压缩数据，可减少数据移动并加速执行。
• vsb-RLE在10亿行、具有100万个不同值的整数列上实现了6.5MB的存储成本——相比标准vs-RLE（8MB）减少18%，相比vsl-RLE（12MB）减少15%。
• 由于解压缩开销过高，Huffman编码不适用于内存数据库：在Zipf分布下，解压100万行的列耗时达3.2分钟。
• 压缩位图编码仅对小域大小的列有效（例如，<50），因为高基数列的位向量数量仍很大，导致内存占用密集。
• 所提出的决策树（图2）为压缩方案选择提供了实用且数据驱动的指导：对排序整数列使用vsb-RLE，对小域列使用压缩位图，对大域列使用bit-DICT。