[論文レビュー] Data Mining-based Materialized View and Index Selection in Data Warehouses

Kamel Aouiche, Jérôme Darmont|ArXiv.org|Jul 11, 2007

Data Mining Algorithms and Applications参考文献 54被引用数 4

ひとこと要約

本稿では、データウェアハウスにおけるクエリの実行パフォーマンスを最適化するとともに、ストレージのオーバーヘッドとメンテナンスコストを最小限に抑えるために、データマイニングに基づくアプローチを提案する。視認可能なビューとインデックスの共同選択を実現する。データマイニングを活用して高価値な候補を特定し、ビューとインデックスの相互作用を考慮したコストモデルを用いることで、独立した選択と比較して最大30%のパフォーマンス向上を達成した。特に中程度から大規模なストレージ制約下で顕著な効果を示した。

ABSTRACT

Materialized views and indexes are physical structures for accelerating data access that are casually used in data warehouses. However, these data structures generate some maintenance overhead. They also share the same storage space. Most existing studies about materialized view and index selection consider these structures separately. In this paper, we adopt the opposite stance and couple materialized view and index selection to take view-index interactions into account and achieve efficient storage space sharing. Candidate materialized views and indexes are selected through a data mining process. We also exploit cost models that evaluate the respective benefit of indexing and view materialization, and help select a relevant configuration of indexes and materialized views among the candidates. Experimental results show that our strategy performs better than an independent selection of materialized views and indexes.

研究の動機と目的

• データウェアハウスにおける物化ビューとインデックスの選択のスケーラビリティと複雑さを解決すること。
• 従来のアプローチがビューとインデックスの選択を独立して扱い、それらの相互作用を無視するという限界を克服すること。
• 関連する候補のビューとインデックスを特定するためのデータマイニング技術を用いて、選択問題の次元を低減すること。
• 組み合わせたビューとインデックス構成のパフォーマンス向上とメンテナンスオーバーヘッドのバランスを評価するコストモデルを開発すること。
• 物化ビューとインデックスの統合的選択を通じて、最適なストレージ領域の共有とクエリ応答時間の改善を達成すること。

提案手法

• 代表的なクエリワークロードに対して、頻出項目集合マイニングを活用したデータマイニング技術を適用し、関連性の高い候補となる物化ビューとインデックスの削減済みセットを生成する。
• コストモデルを用いて、各候補構成の利益対オーバーヘッド比を評価し、物化ビューとインデックスの相互作用を組み込む。
• 制約付き最適化として共同選択問題を定式化：ストレージ領域制限Sを満たす条件下でクエリ実行コストを最小化する。
• 物化ビューにインデックスを設定することで、メンテナンスコストの低減やクエリパフォーマンスの向上が生じるという点を認識し、コストモデルにビューとインデックスの相互作用を統合する。
• 主な貢献である共同選択に加え、分離されたビュー選択、分離されたインデックス選択、および共同選択の3つのシナリオを適用する。
• 実験でストレージ領域割り当て（S/S_VI）の変動に応じたパフォーマンスの可視化を図るため、対数スケールを用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータマイニング技術を活用して、データウェアハウスにおける物化ビューとインデックスの候補探索空間を効果的に縮小できるか？
• RQ2 ビューとインデックスの相互作用が、物理設計構成全体のパフォーマンスとストレージ効率に与える影響は何か？
• RQ3 物化ビューとインデックスの共同選択は、独立した選択と比較して、クエリ応答時間とストレージ利用率においてどのように異なるか？
• RQ4 どのようなストレージ領域制約下で、共同選択がビューまたはインデックスの分離選択よりも優れているか？
• RQ5 さまざまなDBMSプラットフォームに対応できる汎用的でモジュラーなアプローチを設計可能か？また、クラスタリングやパーティショニングなどの他の物理設計技術へも拡張可能か？

主な発見

• 物化ビューとインデックスの共同選択により、独立した選択と比較して最大30%のクエリ応答時間の短縮が達成された。特にストレージ領域が中程度から大規模な場合に顕著であった。
• 提案手法により、平均して約40%のインデックス候補数が削減されたが、パフォーマンスは同等を維持した。これにより、メンテナンスオーバーヘッドが顕著に低減された。
• ストレージ領域が極めて制限された状況では、インデックスのサイズが物化ビューに比べて小さいことから、分離されたインデックス選択が共同選択を上回った。
• コストモデルがビューとインデックスの相互作用を効果的に捉えており、別々の最適化から得られる構成よりも効率的な構成が得られた。
• 本手法はスケーラビリティとモularityを示し、データマイニングやコストモデルのコンponentsを代替技術に置き換えることで拡張性を確保できる。
• Oracleベースのシステムにおける実験結果から、本手法の有効性が確認されたが、特許権や再利用不可な実装のため、既存システムとの直接比較は限定的であった。