[論文レビュー] CoPhy: A Scalable, Portable, and Interactive Index Advisor for Large Workloads

Debabrata Dash, Neoklis Polyzotis+1 more|arXiv (Cornell University)|Apr 16, 2011

Data Management and Algorithms参考文献 18被引用数 8

ひとこと要約

CoPhyは、構造的線形最適化問題としてインデックスチューニングをモデル化することにより、大規模なデータベースワークロードにおけるスケーラブルでポータブルかつインタラクティブなインデックスアドバイザーを提案する。この手法は、数千のクエリ、候補インデックス、ハード/ソフト制約の解空間を効率的に探索し、実世界のワークロードにおいて、最先端の技術を最大10倍の性能で上回る。

ABSTRACT

Index tuning, i.e., selecting the indexes appropriate for a workload, is a crucial problem in database system tuning. In this paper, we solve index tuning for large problem instances that are common in practice, e.g., thousands of queries in the workload, thousands of candidate indexes and several hard and soft constraints. Our work is the first to reveal that the index tuning problem has a well structured space of solutions, and this space can be explored efficiently with well known techniques from linear optimization. Experimental results demonstrate that our approach outperforms state-of-the-art commercial and research techniques by a significant margin (up to an order of magnitude).

研究の動機と目的

• 数千のクエリと候補インデックスを含む大規模データベースワークロードにおけるインデックスチューニングの課題に対処する。
• スケーラビリティと複雑な制約に直面する既存のインデックスアドバイザーの限界を克服する。
• リアルタイムのデータベースチューニングにおけるインデックス選択の解空間をインタラクティブに探索可能にする。
• 多様なデータベースシステムとワークロードに適用可能なポータブルで効率的なソリューションを提供する。
• インデックスチューニング問題の本質的構造を捉える構造的最適化フレームワークを導入する。

提案手法

• 選択性、マテリアライゼーション、ワークロード要件の制約を含む、合計コストを最小化する目的関数を持つ線形計画問題としてインデックスチューニング問題をモデル化する。
• 線形最適化からの双対性および感度分析を活用し、解空間を効率的に探索する。
• 問題を管理可能な部分問題に分解する分解アプローチを用いて、大規模ワークロードを処理する。
• 実際のインデキシングポリシーを反映させるために、ユーザー指定のハード制約とソフト制約を最適化モデルに統合する。
• パフォーマンス、ストレージ、制約の間のトレードオフをユーザーが探索できるインタラクティブインターフェースを実装する。
• ウォームスタート技術と反復的精錬を適用し、大規模インスタンスにおける収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 インデックスチューニング問題は、線形プログラミングを用いて効率的に解ける構造的最適化問題としてモデル化可能か？
• RQ2 数千のクエリと候補インデックスを含むワークロードにおいて、スケーラビリティをどのように達成できるか？
• RQ3 解空間のインタラクティブな探索は、実用的なデータベースチューニングをどの程度向上できるか？
• RQ4 ハード制約とソフト制約は、インデックス構成の品質と実行可能性にどの程度影響を与えるか？
• RQ5 提案手法は、パフォーマンスと効率性の面で、既存の商用および研究ベースのインデックスアドバイザーを上回ることができるか？

主な発見

• CoPhyは、大規模ワークロードにおいて、最先端の商用および研究ツールと比較して、インデックス選択のパフォーマンスを最大10倍向上する。
• インデックスチューニングの解空間は本質的に構造的であり、線形最適化手法を用いることで効率的な探索が可能である。
• この手法は、数千のクエリと数千の候補インデックスを含むワークロードに対しても、効果的にスケーリングできる。
• 解空間のインタラクティブな探索により、データベース管理者はパフォーマンス、ストレージ、制約の間の意思決定を情報に基づいて行える。
• ハード制約とソフト制約の統合により、生成されたインデックス構成の実用性と使いやすさが著しく向上する。
• 感度分析と双対性の洞察を活用することで、ワークロードや制約パラメータの変更に対しても迅速な再チューニングが可能になる。