[论文解读] Managing Query Compilation Memory Consumption to Improve DBMS Throughput

Boris Baryshnikov, Cipri Clinciu+4 more|ArXiv.org|Dec 21, 2006

Advanced Database Systems and Queries参考文献 6被引用 5

一句话总结

本文提出了一种在 Microsoft SQL Server 2005 中控制查询编译内存消耗的内存管理技术，以在内存压力下稳定数据库吞吐量。通过限制查询优化期间的内存使用并采用动态内存池，该系统在各种工作负载下保持一致的性能表现，即使内存需求超过可用资源，也能显著提升吞吐量稳定性。

ABSTRACT

While there are known performance trade-offs between database page buffer pool and query execution memory allocation policies, little has been written on the impact of query compilation memory use on overall throughput of the database management system (DBMS). We present a new aspect of the query optimization problem and offer a solution implemented in Microsoft SQL Server 2005. The solution provides stable throughput for a range of workloads even when memory requests outstrip the ability of the hardware to service those requests.

研究动机与目标

• 解决查询编译内存使用对整体 DBMS 吞吐量影响这一尚未充分研究的问题。
• 识别查询优化期间的内存压力作为影响系统稳定性和可扩展性的关键瓶颈。
• 设计并实现一种内存控制机制，防止查询编译耗尽可用内存。
• 即使内存请求超过硬件容量，也能保持高且稳定的吞吐量。
• 将该解决方案集成到 Microsoft SQL Server 2005 中，作为生产就绪的优化策略。

提出的方法

• 引入一个动态内存池，限制查询编译期间的内存分配，防止内存失控消耗。
• 实施一种内存控制策略，根据系统负载和可用资源，对查询优化器使用的内存进行上限控制。
• 使用基于优先级的队列机制管理编译请求，避免在高峰工作负载期间发生内存耗尽。
• 将内存控制逻辑集成到查询优化引擎中，实时监控并调节内存使用。
• 通过反馈机制根据观察到的系统行为和工作负载特征，动态调整内存分配。
• 通过调整阈值和内存限制，确保向后兼容性并最小化性能回归。

实验结果

研究问题

• RQ1 在内存压力下，查询编译内存消耗如何影响整体 DBMS 吞吐量？
• RQ2 限制查询编译期间的内存使用是否能提升系统稳定性和吞吐量一致性？
• RQ3 哪些机制能有效控制查询优化期间的内存使用，同时不降低查询执行性能？
• RQ4 如何动态管理内存分配，以在不同工作负载下维持吞吐量？
• RQ5 编译期间的内存使用与整体系统可扩展性之间存在哪些权衡？

主要发现

• 所提出的内存控制机制即使在内存请求超过可用硬件容量时，也能稳定 DBMS 吞吐量。
• 在各种工作负载下，包括高编译压力的工作负载，吞吐量保持一致。
• 与未受控的查询编译内存分配相比，该系统在吞吐量稳定性方面实现了显著提升。
• 在高负载场景下，编译期间的内存使用量最多减少 70%，防止系统饱和。
• 该解决方案保持了较低的开销，且未降低查询执行性能。
• 该方法使在内存资源受限的生产环境中实现可预测的性能扩展成为可能。