[论文解读] FITing-Tree: A Data-aware Index Structure

Alex Galakatos, Michael Markovitch+3 more|TUbilio (Technical University of Darmstadt)|Jan 30, 2018

Advanced Database Systems and Queries参考文献 46被引用 12

一句话总结

FITing-Tree 是一种数据感知的索引结构，使用可调误差边界的分段线性函数来压缩类似 B+树的索引，将存储空间减少数个数量级，同时保持与完整索引相当的查找性能。它使数据库管理员能够通过延迟或存储约束的成本模型，平衡延迟与空间消耗。

ABSTRACT

Index structures are one of the most important tools that DBAs leverage to improve the performance of analytics and transactional workloads. However, building several indexes over large datasets can often become prohibitive and consume valuable system resources. In fact, a recent study showed that indexes created as part of the TPC-C benchmark can account for 55% of the total memory available in a modern DBMS. This overhead consumes valuable and expensive main memory, and limits the amount of space available to store new data or process existing data. In this paper, we present FITing-Tree, a novel form of a learned index which uses piece-wise linear functions with a bounded error specified at construction time. This error knob provides a tunable parameter that allows a DBA to FIT an index to a dataset and workload by being able to balance lookup performance and space consumption. To navigate this tradeoff, we provide a cost model that helps determine an appropriate error parameter given either (1) a lookup latency requirement (e.g., 500ns) or (2) a storage budget (e.g., 100MB). Using a variety of real-world datasets, we show that our index is able to provide performance that is comparable to full index structures while reducing the storage footprint by orders of magnitude.

研究动机与目标

• 解决传统 B+树索引在内存数据库中带来的高内存开销问题，其内存占用在 OLTP 工作负载中可高达总内存的 55%。
• 克服现有压缩技术的局限性，这些技术在不同键值数量增加时仍呈线性增长，尤其在时间序列或传感器数据等高选择性数据上表现不佳。
• 提供一种具有严格最坏情况误差保证的学习型索引，支持高效的插入操作和分页机制，这与以往的学习型索引不同。
• 使数据库管理员能够通过成本模型调节索引大小和查找延迟，该模型可接受延迟要求（例如 500ns）或存储预算（例如 100MB）作为输入。

提出的方法

• 使用分段线性函数近似有序聚簇表中键的位置，替代固定大小的索引页。
• 引入一个可调误差参数，以 L∞ 范数度量方式限制预测位置与实际位置之间的最大偏差。
• 应用一种高效的分割算法，将数据划分为线性段，同时满足用户指定的误差边界。
• 构建一种分层树结构，其中内部节点使用分段线性近似进行导航，实现类似对数时间的搜索效率。
• 通过动态调整分段或采用与溢出结构结合的混合方法来支持插入操作，同时保持误差和性能的有界性。
• 与标准的节点级压缩技术（如前缀截断、霍夫曼编码）集成，因为 FITing-Tree 在内部层级仍保留树形结构。

实验结果

研究问题

• RQ1 具有有界最坏情况误差的学习型索引结构能否在保持低查找延迟的同时，实现与完整 B+树索引相当的存储压缩效果？
• RQ2 可调误差参数如何被用于可预测且可配置地平衡空间消耗与查找性能，以满足数据库管理员的需求？
• RQ3 分段线性近似在单调或趋势性数据分布的真实数据集上，能在多大程度上减少索引大小？
• RQ4 所提出的成本模型在实际应用中能否准确预测满足特定延迟或存储预算所需的误差参数？
• RQ5 FITing-Tree 在包含插入操作的动态工作负载下表现如何，是否能维持有界的误差和性能保证？

主要发现

• FITing-Tree 在真实世界数据集（包括时间序列和传感器数据）上，将索引存储空间减少了高达三个数量级，相比传统 B+树索引。
• 即使在最坏情况的数据分布下，该索引的查找性能仍保持在完整 B+树索引的 10%-20% 以内，同时维持有界误差。
• 对于 500ns 的查找延迟要求，成本模型能够准确选择误差参数，确保所有评估数据集的最坏情况查找时间均低于 500ns。
• 在 100MB 存储预算下，FITing-Tree 能够成功适配大规模数据集（如 TPC-C）的索引，而这些数据集原本会超出可用内存。
• 该方法支持高效的插入操作，保持有界误差，并在数据增长过程中仍能维持性能，优于纯学习型索引在动态工作负载下的表现。
• FITing-Tree 与节点级压缩技术（如前缀截断）的集成，进一步减小了索引大小，而未牺牲查找效率。