[论文解读] Data Compression for Analytics over Large-scale In-memory Column Databases (Summary Paper).

Chunbin Lin, Jianguo Wang+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Data Storage Technologies参考文献 8被引用 3

一句话总结

本文研究了在内存列式数据库中数据压缩的可行性与最佳应用方式，提出通过减少内存带宽压力和提高缓存效率，压缩可显著提升性能。通过实证评估，本文表明选择性、压缩感知的查询处理可在大规模内存OLAP系统中带来显著的性能提升。

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

研究动机与目标

• 评估在从磁盘转向内存存储的背景下，数据压缩是否仍对主内存列式数据库有益。
• 识别在主内存OLAP系统中，哪些压缩技术最有效，可减少内存带宽并提高缓存利用率。
• 提出一种在内存数据库中应用压缩的框架，以在最小化开销的同时最大化查询性能。

提出的方法

• 在真实世界内存列式数据库工作负载上评估一系列压缩方案（例如：字典编码、行程长度编码、位级压缩）。
• 分析内存访问模式和带宽消耗，识别压缩可减少数据移动的瓶颈。
• 通过查询执行性能分析，衡量压缩/解压缩成本与I/O减少之间的权衡。
• 提出一种压缩感知查询优化器，根据列统计信息和查询模式选择压缩方案。
• 在主内存列式存储上实现原型系统，测量在不同工作负载下的端到端性能。
• 应用性能建模，预测压缩对不同类型分析查询的影响。

实验结果

研究问题

• RQ1 在主内存低延迟的背景下，数据压缩在内存列式数据库中是否仍然有益？
• RQ2 哪些压缩技术在减少内存带宽和提高缓存效率方面能带来最佳性能提升？
• RQ3 如何选择性地对列应用压缩，以在最小化解压缩成本的同时最大化数据压缩率？
• RQ4 压缩在内存数据库查询执行流水线中的最优集成点是什么？
• RQ5 不同类型查询（例如：选择、聚合）在内存中对压缩的响应如何？

主要发现

• 在分析型工作负载上，压缩平均可将内存带宽压力降低60%，带来可测量的性能提升。
• 字典编码和行程长度编码在主内存列式存储中提供了压缩率与解压缩成本之间的最佳平衡。
• 选择性压缩——仅对具有高冗余性的列应用压缩——在保持显著数据压缩率的同时，降低了解压缩开销。
• 在选择性高且扫描操作多的工作负载中，压缩带来的性能提升最为明显。
• 所提出的压缩感知查询优化器通过智能地为每列选择压缩方案，实现了最高25%的查询执行速度提升。