[论文解读] Concurrency Control for Adaptive Indexing

Goetz Graefe, Felix Halim+3 more|arXiv (Cornell University)|Mar 29, 2012

Advanced Database Systems and Queries参考文献 23被引用 4

一句话总结

本文提出了一种自适应索引的并发控制机制，将索引结构更新视为可选的、短期的内存操作，避免了传统的事务锁。通过将索引结构优化与内容更新解耦，并利用工作负载的动态适应性，即使在并发查询下也能实现可忽略的性能开销，且随着索引演化，并发冲突随时间减少。

ABSTRACT

Adaptive indexing initializes and optimizes indexes incrementally, as a side effect of query processing. The goal is to achieve the benefits of indexes while hiding or minimizing the costs of index creation. However, index-optimizing side effects seem to turn read-only queries into update transactions that might, for example, create lock contention. This paper studies concurrency control in the context of adaptive indexing. We show that the design and implementation of adaptive indexing rigorously separates index structures from index contents; this relaxes the constraints and requirements during adaptive indexing compared to those of traditional index updates. Our design adapts to the fact that an adaptive index is refined continuously, and exploits any concurrency opportunities in a dynamic way. A detailed experimental analysis demonstrates that (a) adaptive indexing maintains its adaptive properties even when running concurrent queries, (b) adaptive indexing can exploit the opportunity for parallelism due to concurrent queries, (c) the number of concurrency conflicts and any concurrency administration overheads follow an adaptive behavior, decreasing as the workload evolves and adapting to the workload needs.

研究动机与目标

• 解决自适应索引中并发开销的挑战，其中只读查询会触发索引结构更新。
• 减少或消除在索引优化过程中通常与锁定和事务开销相关的性能惩罚。
• 通过将索引结构更改视为可选且短暂的操作，实现可扩展的、高并发的只读查询执行。
• 证明并发控制开销能够适应工作负载动态变化，在索引成熟后逐渐减少。
• 探索动态、工作负载感知的策略，以选择自适应索引算法，进一步提升并发性和性能。

提出的方法

• 将索引结构更新与逻辑索引内容解耦，确保查询处理期间仅发生物理设计更改。
• 使用内存中的闩锁代替长期的事务锁进行结构更新，最大限度减少竞争和开销。
• 实现机会性且增量式的索引优化，可根据工作负载模式跳过或延迟更新。
• 随着索引进展动态调整锁定粒度，随时间实现更细粒度的并发控制。
• 引入‘主动’和‘懒惰’两种索引重构策略，并基于查询工作负载和并发级别动态选择算法。
• 利用多个并发查询来引导统一的、批量的索引重构操作，提升并行性并降低每次操作的开销。

实验结果

研究问题

• RQ1 尽管只读查询会触发结构更新，自适应索引中的并发控制开销是否可以降低到可忽略的水平？
• RQ2 与传统索引相比，自适应索引的动态特性如何影响并发冲突和锁定需求？
• RQ3 在多大程度上可以利用并发查询来提升并行性并降低结构更新的开销？
• RQ4 在并发工作负载下，使用‘主动’与‘懒惰’策略进行索引重构的性能影响是什么？
• RQ5 基于工作负载感知的、动态选择自适应索引算法，是否能进一步降低并发控制开销并提升可扩展性？

主要发现

• 即使在并发查询工作负载下，自适应索引仍能保持其自适应行为，性能和优化质量均无下降。
• 随着索引结构的演化和锁定粒度的提升，并发冲突随时间减少，竞争也相应降低。
• 系统能动态适应工作负载特征，随着索引进展和趋于稳定，并发控制开销逐渐缩小。
• 可以利用并发查询触发统一的、批量的索引重构操作，提升并行性并降低每次操作的成本。
• 即使在高并发环境下，使用内存闩锁代替事务锁进行结构更新，性能开销也几乎可以忽略。
• 实验评估证实，自适应早期终止和动态算法选择进一步缓解了实际应用中的并发控制挑战。