[论文解读] From WiscKey to Bourbon: A Learned Index for Log-Structured Merge Trees

Yifan Dai, Yien Xu+5 more|arXiv (Cornell University)|May 28, 2020

Data Quality and Management参考文献 34被引用 34

一句话总结

本文引入 Bourbon，一种针对 WiscKey 风格的 LSM 树的学习型索引扩展，使用分段线性回归来加速查找，并具备一个成本-收益机制来判断何时进行学习是值得的，在各数据集和工作负载下实现了查找速度提高约 1.23×–1.78×。

ABSTRACT

We introduce BOURBON, a log-structured merge (LSM) tree that utilizes machine learning to provide fast lookups. We base the design and implementation of BOURBON on empirically-grounded principles that we derive through careful analysis of LSM design. BOURBON employs greedy piecewise linear regression to learn key distributions, enabling fast lookup with minimal computation, and applies a cost-benefit strategy to decide when learning will be worthwhile. Through a series of experiments on both synthetic and real-world datasets, we show that BOURBON improves lookup performance by 1.23x-1.78x as compared to state-of-the-art production LSMs.

研究动机与目标

• 促使在日志结构合并树（LSM）中应用学习型索引，以在不产生过多写入开销的情况下提升读取查找性能。
• 推导在 LSM 内何时何地应用学习的指南（按文件层级与级别粒度、工作负载感知）。
• 设计并实现 Bourbon，一种面向生产的面向 WiscKey 的学习型索引扩展，并在合成数据集和真实数据集上评估其性能。

提出的方法

• 分析 WiscKey，找出学习型索引可以在不稳定化写入的前提下减少索引开销的位置。
• 采用贪心分段线性回归（PLR）来学习 SSTable 或级别中的键分布。
• 引入成本-收益分析器，在线判断学习给定文件或级别是否值得。
• 分离存储值（键值分离），对固定大小的键进行学习，针对变长值使用偏移量。
• 评估文件级学习（默认）与级别级学习，展示何时各自有益。
• 展示 Bourbon 在一个优化后的 LSM 系统中的集成，额外约 5000 行代码。

实验结果

研究问题

• RQ1 学习型索引是否能够在基于 LSM 的系统（如 WiscKey）中提升查找性能，同时避免因写入导致的过度重新学习？
• RQ2 哪些粒度（文件 vs 级别）和工作负载条件能够最大化学习型索引在 LSM 中的收益？
• RQ3 系统应如何在线判定何时对给定文件或级别进行学习以最大化净收益？
• RQ4 学习型索引方法在内存驻留和快速存储场景下的 LSM 性能表现如何？

主要发现

• 与生产级 LSM 相比，Bourbon 在一系列数据集和工作负载中实现了查找速度提升约 1.23×–1.78×。
• 学习收益最为显著当索引对查找延迟贡献显著时，例如在内存驻留或快速存储场景中，数据访问成本较低或主要由索引成本主导。
• 在高写负载下，文件级学习的性能优于级别级学习；而在只读场景下，级别学习可能有益。
• 在线成本-收益分析器可以避免对短寿命文件进行学习，降低无谓的学习成本。
• 学习准则指出：(i) 优先对较低、稳定的级别/文件进行学习；(ii) 对短寿命文件推迟学习；(iii) 不要因为潜在的负查找而忽略较高层级；(iv) 具备工作负载感知；(v) 在重写写入下避免级别学习。