[论文解读] Learning to Optimize LSM-trees: Towards A Reinforcement Learning based Key-Value Store for Dynamic Workloads

Dingheng Mo, Fanchao Chen+2 more|arXiv (Cornell University)|Aug 14, 2023

Advanced Data Storage TechnologiesComputer Science被引用 3

一句话总结

RusKey 是一种增强强化学习（RL）的键值存储系统，通过一种新型的 FLSM-tree 架构和基于层级的 DDPG 强化学习模型，动态优化 LSM-tree 的合并策略，以适应不同工作负载。它在无需事先了解工作负载特征的情况下，跨多种工作负载实现了比 RocksDB 高达 4 倍的端到端性能提升，通过自适应策略学习和跨层级高效策略传播，展现出强大的鲁棒性。

ABSTRACT

LSM-trees are widely adopted as the storage backend of key-value stores. However, optimizing the system performance under dynamic workloads has not been sufficiently studied or evaluated in previous work. To fill the gap, we present RusKey, a key-value store with the following new features: (1) RusKey is a first attempt to orchestrate LSM-tree structures online to enable robust performance under the context of dynamic workloads; (2) RusKey is the first study to use Reinforcement Learning (RL) to guide LSM-tree transformations; (3) RusKey includes a new LSM-tree design, named FLSM-tree, for an efficient transition between different compaction policies -- the bottleneck of dynamic key-value stores. We justify the superiority of the new design with theoretical analysis; (4) RusKey requires no prior workload knowledge for system adjustment, in contrast to state-of-the-art techniques. Experiments show that RusKey exhibits strong performance robustness in diverse workloads, achieving up to 4x better end-to-end performance than the RocksDB system under various settings.

研究动机与目标

• 为解决在动态变化工作负载下，基于 LSM-tree 的键值存储系统维持高性能的挑战。
• 设计一种在线、工作负载自适应的系统，无需事先了解工作负载特征。
• 降低 LSM-tree 中合并策略切换的高转换成本，这是动态环境中的一大瓶颈。
• 利用强化学习实现在 LSM-tree 多层级之间的高效、可扩展的策略学习。
• 开发一种新的 LSM-tree 变体 FLSM-tree，支持在不同合并策略之间实现高效且低开销的切换。

提出的方法

• 提出 FLSM-tree，一种新型 LSM-tree 设计，通过将策略应用与数据布局解耦，实现不同合并策略之间的高效切换。
• 引入基于层级的强化学习框架 Lerp，采用深度确定性策略梯度（DDPG）算法，为每一层学习最优合并策略。
• 通过跨层级的策略传播，减少样本复杂度并加速训练，实现从高层向低层共享策略知识。
• 通过按层级建模策略决策，缩小动作空间，从而实现可行且可扩展的强化学习训练。
• 基于性能指标（如读取/写入放大、延迟）设计奖励函数，实现实时策略学习引导。
• 实现在线模型更新，运行时开销极低，在大多数工作负载下低于总操作成本的 1%。

实验结果

研究问题

• RQ1 强化学习能否有效用于根据工作负载变化动态调优 LSM-tree 的合并策略？
• RQ2 如何最小化 LSM-tree 中合并策略切换的高成本，以支持实时自适应？
• RQ3 基于层级的 RL 模型结合策略传播，能否在减少训练数据和加快收敛速度的前提下实现高性能？
• RQ4 所提出的 FLSM-tree 设计相比传统 LSM-tree，如何提升策略切换的效率？
• RQ5 在多样化且动态的工作负载下，基于 RL 的系统在多大程度上能超越贪婪的静态策略选择？

主要发现

• RusKey 在各种工作负载（包括读密集型、写密集型和平衡型工作负载）下，实现了比 RocksDB 高达 4 倍的端到端性能提升。
• 该系统表现出强大的鲁棒性，在所有类型的工作负载下均能维持接近最优的性能，且无需事先了解工作负载信息。
• 模型更新成本可忽略不计，即使在高吞吐量工作负载下，平均也低于总操作时间的 1%。
• 策略传播显著减少了样本需求，在暴力搜索方法 24 小时内无法收敛的情况下，仍能实现有效训练。
• 贪婪策略选择方法在平衡或混合工作负载下无法达到最优性能，而 RusKey 能够有效适应。
• FLSM-tree 架构实现了高效的策略切换，显著降低了切换合并策略的延迟和开销。