[论文解读] Compacting Transactional Data in Hybrid OLTP & OLAP Databases

Florian Funke, Alfons Kemper+1 more|arXiv (Cornell University)|Aug 1, 2012

Distributed systems and fault tolerance参考文献 18被引用 5

一句话总结

本文提出了一种用于混合OLTP/OLAP数据库的异步压缩技术，通过将热数据（频繁访问）与冷数据（罕见访问）分离，对冷数据进行压缩，并将其存储在大页内存上，从而减少内存使用并加速OLAP查询处理。该方法通过将压缩和重组操作卸载到后台线程，实现了显著的性能提升，同时对OLTP吞吐量的影响极小。

ABSTRACT

Growing main memory sizes have facilitated database management systems that keep the entire database in main memory. The drastic performance improvements that came along with these in-memory systems have made it possible to reunite the two areas of online transaction processing (OLTP) and online analytical processing (OLAP): An emerging class of hybrid OLTP and OLAP database systems allows to process analytical queries directly on the transactional data. By offering arbitrarily current snapshots of the transactional data for OLAP, these systems enable real-time business intelligence. Despite memory sizes of several Terabytes in a single commodity server, RAM is still a precious resource: Since free memory can be used for intermediate results in query processing, the amount of memory determines query performance to a large extent. Consequently, we propose the compaction of memory-resident databases. Compaction consists of two tasks: First, separating the mutable working set from the immutable "frozen" data. Second, compressing the immutable data and optimizing it for efficient, memory-consumption-friendly snapshotting. Our approach reorganizes and compresses transactional data online and yet hardly affects the mission-critical OLTP throughput. This is achieved by unburdening the OLTP threads from all additional processing and performing these tasks asynchronously.

研究动机与目标

• 解决内存中混合OLTP/OLAP数据库中因高事务吞吐量要求而阻碍数据压缩的内存效率挑战。
• 通过优化数据布局和压缩，实现在事务数据上直接进行高效、实时的分析查询处理。
• 在不降低OLTP事务吞吐量的前提下，减少内存消耗并提升查询性能。
• 开发一种轻量级、硬件辅助的监控机制，用于识别适合压缩的冷数据块。

提出的方法

• 使用硬件辅助、低开销的监控组件，跟踪数据访问模式并识别热数据和冷数据段。
• 基于访问频率和工作集假设，将数据库划分为热数据（可变）和冷数据（不可变）两部分。
• 对冷数据块应用无损压缩，并将其存储在大虚拟内存页上，以提高缓存效率并减少内存占用。
• 异步执行数据重组和压缩，与OLTP事务处理解耦，避免性能下降。
• 采用保持顺序的字典结构，并使用内存高效的二级索引（如红黑树），以加速压缩数据上的前缀扫描和范围扫描。
• 对冷数据使用失效标记而非立即删除，即使在高失效率下也能保持扫描性能。

实验结果

研究问题

• RQ1 能否在不降低事务吞吐量的前提下，有效将数据压缩集成到高性能OLTP系统中？
• RQ2 如何高效识别并隔离冷数据以进行压缩，同时最小化对活跃事务处理的干扰？
• RQ3 何种压缩与存储技术能同时优化混合OLTP/OLAP系统中的内存消耗与OLAP查询性能？
• RQ4 异步压缩在提升分析查询执行效率的同时，对OLTP性能的影响程度如何？
• RQ5 使用保持顺序的字典结构和紧凑的二级索引，对压缩数据上的查询性能有何影响？

主要发现

• 所提出的压缩技术显著减少了内存消耗，同时保持了接近理想的OLTP吞吐量，即使在1/36的数据被失效的情况下，性能下降也仅为4.5%至7.9%。
• 热/冷数据聚类机制成功识别出数据库的大部分为冷数据，从而实现了有效的压缩。
• 当选择性高于3.3%时，保持顺序的字典结构优于基于哈希的查找，使其在中等至高选择性的分析查询中更加高效。
• 基于红黑树的二级索引将每个条目内存占用降低至24字节，且在低选择性查询中优于字典结构。
• 将冷数据压缩并存储在大页内存上，提升了缓存局部性，显著加快了扫描密集型分析工作负载的查询执行速度。
• 针对冻结数据块的失效机制由于高效的内存布局和访问模式，即使在极端失效率下也能保持高性能扫描。