[论文解读] Buffer Pool Aware Query Scheduling via Deep Reinforcement Learning

Chi Zhang, Ryan Marcus+2 more|arXiv (Cornell University)|Jul 21, 2020

Cloud Computing and Resource Management参考文献 2被引用 10

一句话总结

本文提出 SmartQueue，一种基于深度强化学习的查询调度器，通过优化查询执行顺序以最大化缓冲池命中率并最小化磁盘 I/O。通过使用深度 Q-learning 学习工作负载特定的调度策略，SmartQueue 在未见过的查询上实现了 64% 的缓冲池命中率，显著优于 FCFS 和贪婪启发式方法，分别降低了 11% 和 22% 的延迟。

ABSTRACT

In this extended abstract, we propose a new technique for query scheduling with the explicit goal of reducing disk reads and thus implicitly increasing query performance. We introduce SmartQueue, a learned scheduler that leverages overlapping data reads among incoming queries and learns a scheduling strategy that improves cache hits. SmartQueue relies on deep reinforcement learning to produce workload-specific scheduling strategies that focus on long-term performance benefits while being adaptive to previously-unseen data access patterns. We present results from a proof-of-concept prototype, demonstrating that learned schedulers can offer significant performance improvements over hand-crafted scheduling heuristics. Ultimately, we make the case that this is a promising research direction at the intersection of machine learning and databases.

研究动机与目标

• 解决数据库系统中因缓存利用效率低下而导致的查询调度低效问题，避免过多磁盘读取。
• 克服静态启发式方法的局限性，这些方法无法在短期收益与长期缓存效率之间取得平衡。
• 开发一种可学习的、自适应的调度器，能够动态响应不断变化的数据访问模式和缓冲区状态。
• 证明强化学习能够生成优于手工设计启发式方法的调度策略，适用于真实世界的数据库工作负载。
• 实现智能的查询排序，提升缓存命中率，且无需修改现有的缓冲管理策略。

提出的方法

• 使用深度 Q-learning 训练一个调度器智能体，根据当前缓冲池状态和预期查询读取量选择查询执行顺序。
• 将缓冲区状态和查询读取模式表示为 DRL 智能体的输入特征，以支持状态-动作价值估计。
• 设计一个奖励函数，平衡即时缓冲命中与长期缓存效率，鼓励战略性调度而非贪婪选择。
• 在一系列查询工作负载上训练智能体，使其通过试错交互学习最优调度策略。
• 使用全连接神经网络近似 Q-value 函数，将输入状态映射到动作价值，用于查询排序决策。
• 将调度器集成到原型数据库管理系统流水线中，仅需查询执行计划和当前缓冲池状态作为输入。

实验结果

研究问题

• RQ1 学习型查询调度器能否通过提升缓冲命中率，在减少磁盘 I/O 方面优于传统启发式方法（如 FCFS 和贪婪调度）？
• RQ2 深度强化学习在多大程度上能够建模长期缓存收益，同时避免短视的调度决策？
• RQ3 基于 DRL 的调度器在训练过程中未出现过的查询模板上泛化能力如何？
• RQ4 在学习型查询调度器中，训练开销与运行时性能提升之间的权衡如何？
• RQ5 如何设计奖励函数，以在动态工作负载中平衡即时缓存命中与未来缓存效率？

主要发现

• SmartQueue 在训练 950 个查询后，将未见过查询模板的缓冲命中率从 0.2（未训练）提升至 0.64。
• 在调度少于 500 个查询后，SmartQueue 的缓冲命中率已超过 FCFS 和贪婪启发式方法。
• 与 FCFS 相比，未见过查询的执行延迟降低了 11%；与贪婪调度相比，延迟降低了 22%。
• SmartQueue 的推理时间每次调度决策为 3.12 秒，考虑到性能提升，该延迟可接受。
• 训练开销平均为每查询 3.95 分钟，但可通过卸载、早停或迁移学习进行优化。
• 结果表明，学习型调度器能够泛化到新的查询模式，并在性能上显著优于静态启发式方法。