[论文解读] DBA bandits: Self-driving index tuning under ad-hoc, analytical workloads with safety guarantees

R. Malinga Perera, Bastian Oetomo+2 more|arXiv (Cornell University)|Oct 19, 2020

Data Stream Mining Techniques被引用 5

一句话总结

本文提出 DBA Bandits，一种自驱动的索引调优系统，采用多臂赌博机（MAB）强化学习技术，在动态、临时的分析型工作负载下实时优化数据库索引。该系统直接从观测到的查询性能中学习，而非依赖有缺陷的成本模型，与最先进的商业工具相比，查询执行速度最高提升75%，并具备性能收敛的理论保证。

ABSTRACT

Automating physical database design has remained a long-term interest in database research due to substantial performance gains afforded by optimised structures. Despite significant progress, a majority of today's commercial solutions are highly manual, requiring offline invocation by database administrators (DBAs) who are expected to identify and supply representative training workloads. Unfortunately, the latest advancements like query stores provide only limited support for dynamic environments. This status quo is untenable: identifying representative static workloads is no longer realistic; and physical design tools remain susceptible to the query optimiser's cost misestimates (stemming from unrealistic assumptions such as attribute value independence and uniformity of data distribution). We propose a self-driving approach to online index selection that eschews the DBA and query optimiser, and instead learns the benefits of viable structures through strategic exploration and direct performance observation. We view the problem as one of sequential decision making under uncertainty, specifically within the bandit learning setting. Multi-armed bandits balance exploration and exploitation to provably guarantee average performance that converges to a fixed policy that is optimal with perfect hindsight. Our comprehensive empirical results demonstrate up to 75% speed-up on shifting and ad-hoc workloads and 28% speed-up on static workloads compared against a state-of-the-art commercial tuning tool.

研究动机与目标

• 解决手动和离线物理数据库设计在动态、临时分析型工作负载下的局限性。
• 克服对不准确查询优化器的依赖，这些优化器因假设数据分布均匀和属性独立性而错误估计成本。
• 开发一种在线、自驱动的索引选择系统，基于实际性能观测而非成本模型进行学习。
• 为相对于事后最优固定策略的性能提供理论上的安全保证。
• 在工作负载频繁变化且不可预测的情况下，证明其在鲁棒性和优越性方面优于商业工具。

提出的方法

• 将在线索引选择建模为多臂赌博机问题，其中每条臂对应一个候选索引配置。
• 采用 C2UCB 赌博机算法并结合校正的遗憾分析，以在探索与利用之间取得平衡，同时确保理论性能边界。
• 使用直接性能观测（实际查询执行时间）作为奖励信号，消除对查询优化器成本估计的依赖。
• 从无索引（冷启动）开始，通过重复执行和反馈逐步学习每种配置的价值。
• 施加内存约束 M 以限制可行的索引配置数量，确保在真实系统中的可部署性。
• 通过仅需执行统计信息，与现有 DBMS 无缝集成，实现即插即用的部署。

实验结果

研究问题

• RQ1 自驱动索引调优系统是否能在不依赖 DBA 提供的工作负载的情况下，在临时、动态的分析型工作负载中实现显著的性能提升？
• RQ2 在成本模型不准确的情况下，多臂赌博机是否能为在线索引选择提供可证明的性能保证？
• RQ3 与深度强化学习（如 DDQN）和商业工具相比，MAB 方法在收敛速度和性能方面表现如何？
• RQ4 在数据倾斜和不可预测的查询模式下，系统是否能保持鲁棒性？
• RQ5 MAB 框架能否扩展到其他物理设计选择（如物化视图或统计信息）？

主要发现

• DBA Bandits 在动态、临时的工作负载下，与最先进的商业调优工具相比，查询执行速度最高提升75%。
• 在静态工作负载下，系统实现了平均28%的性能提升，表明其在各类工作负载中均具有一致的改进效果。
• 该方法在收敛速度上优于深度 Q 网络（DDQN）基线，学习更快且性能更稳定。
• 在数据倾斜和不可预测的查询序列下，系统保持了稳健的性能，证明其在真实环境中的抗压能力。
• C2UCB 赌博机的校正遗憾分析确保了理论上的安全保证，证明平均性能收敛至与最优固定策略的有界距离内。
• 由于该方法依赖运行时观测而非建模假设，因此可部署于生产环境，包括多租户和 HTAP 系统。