[论文解读] Automated Database Indexing using Model-free Reinforcement Learning

Gabriel Paludo Licks, Felipe Meneguzzi|arXiv (Cornell University)|Jul 25, 2020

Optimization and Search Problems参考文献 21被引用 6

一句话总结

该论文提出 SmartIX，一种无需模型的强化学习架构，用于自动、动态的数据库索引优化，通过实时学习索引配置来优化查询和更新性能。该方法在性能和存储效率方面优于遗传算法及先前的强化学习方法，能够在大规模数据库上有效扩展，且不依赖于特定 DBMS 的统计信息。

ABSTRACT

Configuring databases for efficient querying is a complex task, often carried out by a database administrator. Solving the problem of building indexes that truly optimize database access requires a substantial amount of database and domain knowledge, the lack of which often results in wasted space and memory for irrelevant indexes, possibly jeopardizing database performance for querying and certainly degrading performance for updating. We develop an architecture to solve the problem of automatically indexing a database by using reinforcement learning to optimize queries by indexing data throughout the lifetime of a database. In our experimental evaluation, our architecture shows superior performance compared to related work on reinforcement learning and genetic algorithms, maintaining near-optimal index configurations and efficiently scaling to large databases.

研究动机与目标

• 解决手动配置最优数据库索引的挑战，该过程耗时且需要专家知识。
• 自动化并动态维护平衡查询性能与存储/更新成本的索引配置。
• 开发一个强化学习智能体，能够适应变化的工作负载，且不依赖于 DBMS 特定的统计信息或启发式规则。
• 使用 TPC-H 基准在大规模数据库上评估该方法，确保其在现实场景中的适用性。
• 实现在数据库管理员缺失的云环境中部署，例如初创企业的 SaaS 平台。

提出的方法

• 该架构将数据库索引问题建模为马尔可夫决策过程（MDP），其中状态表示当前的索引配置和系统指标。
• 动作包括创建或删除索引，智能体基于使用函数逼近学习到的 Q 值函数选择动作。
• 设计奖励函数以平衡查询执行时间和索引维护成本，且独立于 DBMS 统计信息。
• 使用线性函数逼近表示 Q 值函数，从而实现对大规模状态空间的可扩展性。
• 智能体在小规模数据库上进行训练，并能泛化到更大规模的数据库，从而降低训练资源消耗。
• 环境通过 TPC-H 基准模拟，工作负载驱动状态转移并提供性能反馈。

实验结果

研究问题

• RQ1 无模型强化学习智能体是否能在不了解数据库系统内部统计信息的前提下，有效学习到最优索引配置？
• RQ2 所提出的基于强化学习的索引智能体在查询速度和存储效率方面，与遗传算法及其他强化学习方法相比表现如何？
• RQ3 智能体从大规模训练数据库泛化到大规模生产工作负载的程度如何？
• RQ4 奖励函数的设计在多大程度上影响智能体在查询性能与索引维护成本之间实现平衡的能力？
• RQ5 智能体是否能够适应变化的工作负载，并在长时间内维持近似最优的配置？

主要发现

• SmartIX 智能体在查询性能方面持续优于基线索引配置及相关工作，在 TPC-H 基准测试中取得更优结果。
• 智能体在使用显著更少存储空间的情况下，仍能维持接近最优的索引配置，展现出高效的资源利用能力。
• 该架构在大规模数据库上表现出良好的可扩展性，通过在小规模数据库上训练，即可实现对更大数据库的部署，且额外资源消耗极低。
• 基于查询和更新性能设计的奖励函数，使智能体能够学习到读写效率之间的平衡权衡。
• 智能体从小规模数据库到大规模数据库的泛化能力出色，展现出对不同工作负载的鲁棒性和适应性。
• 该方法在动态和读密集型工作负载下，性能优于先前的强化学习和遗传算法方法。