[論文レビュー] Managing Query Compilation Memory Consumption to Improve DBMS Throughput

Boris Baryshnikov, Cipri Clinciu+4 more|ArXiv.org|Dec 21, 2006

Advanced Database Systems and Queries参考文献 6被引用数 5

ひとこと要約

この論文は、メモリ制限下でのデータベーススループットの安定化を目的として、Microsoft SQL Server 2005におけるクエリコンパイルのメモリ消費を制御するメモリ管理技術を提案する。クエリ最適化中のメモリ使用量を制限し、動的メモリプールを活用することで、リソースが不足する状況下でも多様なワークロードにおいて一貫したパフォーマンスを維持でき、スループットの安定性が顕著に向上する。

ABSTRACT

While there are known performance trade-offs between database page buffer pool and query execution memory allocation policies, little has been written on the impact of query compilation memory use on overall throughput of the database management system (DBMS). We present a new aspect of the query optimization problem and offer a solution implemented in Microsoft SQL Server 2005. The solution provides stable throughput for a range of workloads even when memory requests outstrip the ability of the hardware to service those requests.

研究の動機と目的

• クエリコンパイルにおけるメモリ使用が全体のDBMSスループットに与える未だ十分に調査されていない影響を解決すること。
• クエリ最適化中のメモリ圧力が、システムの安定性とスケーラビリティに与える主要なボトルネックであることを特定すること。
• クエリコンパイルが利用可能なメモリを枯渇させないよう、メモリ制御メカニズムを設計および実装すること。
• ハードウェアの容量を超えるメモリ要求が発生しても、高いかつ安定したスループットを維持すること。
• Microsoft SQL Server 2005に統合され、本番環境で利用可能な最適化戦略としてのソリューションを提供すること。

提案手法

• クエリコンパイル中のメモリ割り当てを制限する動的メモリプールを導入し、異常な消費を防ぐ。
• システム負荷と利用可能なリソースに基づいて、クエリオプティマイザが使用するメモリを上限化するメモリ制御ポリシーを実装する。
• ピーク時のワークロードでメモリ枯渇を回避するため、優先度ベースのキューイングメカニズムを用いてコンパイルリクエストを管理する。
• メモリ使用量をリアルタイムで監視・制御できるよう、メモリ制御ロジックをクエリ最適化エンジンに統合する。
• 観察されたシステム動作とワークロード特性に基づき、動的にメモリ割り当てを調整するフィードバックメカニズムを適用する。
• しきい値とメモリ制限のチューニングにより、後方互換性を確保するとともに、パフォーマンスの低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 メモリ制限下において、クエリコンパイルのメモリ消費は全体のDBMSスループットにどのように影響するか？
• RQ2 クエリコンパイル中のメモリ使用量を制限することで、システムの安定性とスループットの一貫性が向上するか？
• RQ3 クエリ実行パフォーマンスの劣化を招かずに、クエリ最適化中のメモリ使用を効果的に制御するメカニズムは何か？
• RQ4 変動するワークロードにわたってスループットを維持するため、どのように動的にメモリ割り当てを管理できるか？
• RQ5 コンパイル時のメモリ使用量と全体のシステムスケーラビリティの間には、どのようなトレードオフがあるか？

主な発見

• 提案されたメモリ制御メカニズムにより、ハードウェアのメモリ容量を超えるメモリ要求が発生しても、DBMSのスループットが安定する。
• 高負荷のコンパイル要請を伴うワークロードを含め、広範なワークロードにおいてスループットが一貫性を保つ。
• クエリコンパイル時のメモリ割り当てを制御しない場合と比較して、スループットの安定性が顕著に向上する。
• 高負荷状況では、コンパイル時のメモリ使用量が最大70％まで削減され、システムの飽和を防ぐ。
• 低オーバーヘッドで、クエリ実行パフォーマンスの劣化も生じない。
• 制限されたメモリリソースを有する本番環境において、予測可能なパフォーマンススケーリングを実現できる。