[论文解读] Learning Index Selection with Structured Action Spaces

Jeremy Welborn, Michael Schaarschmidt+1 more|arXiv (Cornell University)|Sep 16, 2019

Data Stream Mining Techniques参考文献 37被引用 6

一句话总结

本文提出一种基于排列动作空间的结构化深度强化学习智能体，用于数据库索引选择，实现了更直观且高效的索引配置。通过将索引选择建模为基于Sinkhorn策略梯度的排列学习问题，该智能体在保持相同延迟水平的前提下，将索引配置规模减少了高达40%，展现出更强的泛化能力与更低的冗余性。

ABSTRACT

Configuration spaces for computer systems can be challenging for traditional and automatic tuning strategies. Injecting task-specific knowledge into the tuner for a task may allow for more efficient exploration of candidate configurations. We apply this idea to the task of index set selection to accelerate database workloads. Index set selection has been amenable to recent applications of vanilla deep RL, but real deployments remain out of reach. In this paper, we explore how learning index selection can be enhanced with task-specific inductive biases, specifically by encoding these inductive biases in better action structures. Index selection-specific action representations arise when the problem is reformulated in terms of permutation learning and we rely on recent work for learning RL policies on permutations. Through this approach, we build an indexing agent that is able to achieve improved indexing and validate its behavior with task-specific statistics. Early experiments reveal that our agent can find configurations that are up to 40% smaller for the same levels of latency as compared with other approaches and indicate more intuitive indexing behavior.

研究动机与目标

• 为解决数据库索引选择中高维、组合性动作空间带来的挑战，该挑战阻碍了强化学习的高效应用。
• 通过结构化动作表示引入任务特定的归纳偏置，提升索引选择中的样本效率与策略泛化能力。
• 通过将索引选择重新定义为排列学习问题，实现更直观且一致的索引行为。
• 通过任务特定的统计指标与对比基准，评估结构化动作空间的有效性。

提出的方法

• 将索引集选择重新表述为排列学习问题，其中动作对应于索引键选择的有序序列。
• 使用Sinkhorn策略梯度算法，在基于候选列排列定义的结构化动作空间上训练深度强化学习智能体。
• 通过将查询与数据库列之间的语义关系（如选择性、连接模式等）编码到动作表示中，利用任务特定的归纳偏置。
• 构建一种捕捉工作负载与模式上下文的状态表示，使智能体能够推理查询-索引交集关系。
• 通过Sinkhorn层对排列空间进行连续松弛，以支持可微分策略梯度。
• 基于查询执行延迟的稀疏标量奖励进行智能体训练，探索过程由结构化动作空间引导。

实验结果

研究问题

• RQ1 在高维、组合性配置空间中，结构化动作表示是否能带来更高效且更直观的索引选择？
• RQ2 与标准DQN方法相比，将索引选择建模为排列学习问题，是否能提升样本效率与策略泛化能力？
• RQ3 编码于动作空间结构中的任务特定归纳偏置，在多大程度上能减少冗余或次优的索引选择？
• RQ4 该智能体能否发现更小的索引集合，同时维持或优于基线方法的查询延迟性能？

主要发现

• 所提出的智能体在保持等效查询延迟水平的前提下，将索引配置规模减少了高达40%，优于基线方法。
• 智能体展现出更直观的索引行为，避免在已由默认索引覆盖的列上创建冗余索引。
• 在5个查询中有4个，当DQN在L_ORDERKEY上创建冗余索引时，SPG智能体未采取任何动作，正确利用了现有的默认索引。
• 智能体在工作负载间表现出一致的行为，持续有效地利用索引交集与查询模式。
• 结构化动作空间减少了无效或次优决策的数量，提升了学习的稳定性和效率。
• 任务特定统计分析表明，SPG比DQN更有效地利用了查询-索引重叠，表明其行为更具语义一致性。