[论文解读] CoPhy: A Scalable, Portable, and Interactive Index Advisor for Large Workloads

Debabrata Dash, Neoklis Polyzotis+1 more|arXiv (Cornell University)|Apr 16, 2011

Data Management and Algorithms参考文献 18被引用 8

一句话总结

CoPhy 通过将索引调优建模为结构化的线性优化问题，提出了一种可扩展、可移植且交互式的索引顾问，适用于大规模数据库工作负载。它能够高效探索包含数千个查询、候选索引以及硬约束/软约束的解空间，在真实工作负载上的性能相比最先进技术最高提升一个数量级。

ABSTRACT

Index tuning, i.e., selecting the indexes appropriate for a workload, is a crucial problem in database system tuning. In this paper, we solve index tuning for large problem instances that are common in practice, e.g., thousands of queries in the workload, thousands of candidate indexes and several hard and soft constraints. Our work is the first to reveal that the index tuning problem has a well structured space of solutions, and this space can be explored efficiently with well known techniques from linear optimization. Experimental results demonstrate that our approach outperforms state-of-the-art commercial and research techniques by a significant margin (up to an order of magnitude).

研究动机与目标

• 解决包含数千个查询和候选索引的大规模数据库工作负载中的索引调优挑战。
• 克服现有索引顾问在可扩展性和复杂约束方面面临的局限性。
• 实现实时数据库调优中索引选择解空间的交互式探索。
• 提供一种可移植且高效的解决方案，适用于多种数据库系统和工作负载。
• 提出一种结构化的优化框架，以捕捉索引调优问题的内在结构。

提出的方法

• 将索引调优问题建模为线性规划问题，目标函数为最小化总成本，约束条件包括选择性、物化以及工作负载需求。
• 利用线性优化中的对偶性和敏感性分析，高效探索解空间。
• 采用分解方法，通过将问题分解为可管理的子问题来处理大规模工作负载。
• 将用户指定的硬约束和软约束集成到优化模型中，以反映实际的索引策略。
• 实现一个交互式界面，允许用户探索性能、存储和约束之间的权衡。
• 应用热启动技术和迭代优化，以加速大规模实例的收敛。

实验结果

研究问题

• RQ1 索引调优问题能否被建模为一种适合通过线性规划高效求解的结构化优化问题？
• RQ2 如何在包含数千个查询和候选索引的工作负载中实现可扩展性？
• RQ3 对解空间的交互式探索在多大程度上能提升实际的数据库调优效果？
• RQ4 硬约束和软约束在多大程度上影响索引配置的质量和可行性？
• RQ5 所提出的方法在性能和效率方面能否超越现有的商业和研究型索引顾问？

主要发现

• CoPhy 在大规模工作负载上相比最先进商业和研究工具，索引选择性能最高提升10倍。
• 索引调优的解空间具有良好的结构性，可通过线性优化技术高效探索。
• 该方法能有效扩展至包含数千个查询和数千个候选索引的工作负载。
• 对解空间的交互式探索使数据库管理员能够就性能、存储和约束做出明智的权衡决策。
• 硬约束和软约束的集成显著提升了生成的索引配置的实际可用性和易用性。
• 敏感性分析和对偶性洞察使得在工作负载或约束参数变化时能够快速重新调优。