[论文解读] Bounding the Last Mile: Efficient Learned String Indexing

Benjamin Spector, Andreas Kipf+4 more|arXiv (Cornell University)|Nov 29, 2021

Algorithms and Data Compression参考文献 10被引用 7

一句话总结

本文提出 RadixStringSpline（RSS），一种基于 HOPE 压缩字符串前缀的误差有界样条插值的有学习字符串索引，实现快速、内存高效的主索引。通过限制预测误差，RSS 将昂贵的指数级最后一英里搜索替换为高效的二分查找，与 ART 和 HOT 相比，内存使用量降低 7–70 倍，同时在真实数据集上保持或超越其速度表现。

ABSTRACT

We introduce the RadixStringSpline (RSS) learned index structure for efficiently indexing strings. RSS is a tree of radix splines each indexing a fixed number of bytes. RSS approaches or exceeds the performance of traditional string indexes while using 7-70$ imes$ less memory. RSS achieves this by using the minimal string prefix to sufficiently distinguish the data unlike most learned approaches which index the entire string. Additionally, the bounded-error nature of RSS accelerates the last mile search and also enables a memory-efficient hash-table lookup accelerator. We benchmark RSS on several real-world string datasets against ART and HOT. Our experiments suggest this line of research may be promising for future memory-intensive database applications.

研究动机与目标

• 解决有学习字符串索引在主索引中内存占用高且最后一英里搜索成本昂贵的问题。
• 通过利用前缀压缩与有界误差模型，降低字符串索引中的内存使用量。
• 通过有界误差实现的二分查找，替代指数搜索，加速最后一英里搜索。
• 在内存受限的数据库工作负载（如字典编码）中，实现高效等值查找与下界查找。
• 在真实世界字符串数据集上评估 RSS，并与 ART 和 HOT 等最先进结构进行对比。

提出的方法

• RSS 将数据组织为 RadixSpline（RS）节点的树结构，每个 RS 节点索引 HOPE 压缩字符串的固定长度前缀（例如 8 字节）。
• 每个 RS 节点使用具有有界误差的样条模型来预测键的范围，从而在最后一英里实现二分查找。
• HOPE 压缩消除了公共前缀，提高了信息密度，平均将字符串大小减少 1.6 倍。
• 树结构由于模型能以极短前缀长度有效区分键，从而实现每节点高扇出。
• 有界误差支持启用哈希表加速器，实现无需完整字符串比较的快速等值查找。
• 模型在字典序排序的字符串数组上进行训练，预测结果用于引导在有界区间内的搜索。

实验结果

研究问题

• RQ1 有学习索引结构能否显著降低传统字符串索引（如 ART 和 HOT）的内存使用量？
• RQ2 有界误差是否能降低字符串索引中最后一英里搜索的成本？
• RQ3 通过 HOPE 实现的前缀压缩如何影响有学习字符串索引的性能与内存效率？
• RQ4 RSS 在真实世界字符串工作负载中是否在速度与内存消耗方面均优于现有结构？
• RQ5 基于样条的树结构能否在多样化的字符串数据分布上实现高效可扩展性？

主要发现

• 在包括 Wiki、Twitter、Examiner 和 URL 在内的多个真实世界数据集上，RSS 的内存使用量相比 ART 和 HOT 降低 7–70 倍。
• 在 Twitter 和 Wiki 数据集上，RSS 的下界查找时间分别达到 406 ns 和 513 ns，速度优于 ART 和 HOT。
• 在 URL 数据集上，RSS 搭载 HOPE 压缩（RSS+HC）将内存使用量从 123 MB 增加至 278.8 MB，但性能较低，原因在于前缀相似度较高。
• 有界误差的使用使最后一英里实现二分查找，相比指数搜索显著减少了昂贵的字符串比较次数。
• RSS 在构建时间上优于 ART 和 HOT，尤其在批量加载场景中，其构建速度显著更快。
• RSS 的性能高度依赖于早期字节的信息密度；前缀多样性高的数据集（如 Twitter）获得最大性能提升。