[论文解读] Data Mining-based Materialized View and Index Selection in Data Warehouses

Kamel Aouiche, Jérôme Darmont|ArXiv.org|Jul 11, 2007

Data Mining Algorithms and Applications参考文献 54被引用 4

一句话总结

本文提出一种基于数据挖掘的方法，用于在数据仓库中联合选择物化视图和索引，以优化查询性能，同时最小化存储开销和维护成本。通过利用数据挖掘识别高价值候选对象，并采用考虑视图-索引交互作用的成本模型，该方法在中等到较大的存储约束下，相比独立选择方法，性能提升最高达30%。

ABSTRACT

Materialized views and indexes are physical structures for accelerating data access that are casually used in data warehouses. However, these data structures generate some maintenance overhead. They also share the same storage space. Most existing studies about materialized view and index selection consider these structures separately. In this paper, we adopt the opposite stance and couple materialized view and index selection to take view-index interactions into account and achieve efficient storage space sharing. Candidate materialized views and indexes are selected through a data mining process. We also exploit cost models that evaluate the respective benefit of indexing and view materialization, and help select a relevant configuration of indexes and materialized views among the candidates. Experimental results show that our strategy performs better than an independent selection of materialized views and indexes.

研究动机与目标

• 解决在数据仓库中选择物化视图和索引时面临的可扩展性与复杂性问题。
• 克服现有方法将视图与索引选择独立处理、忽略其交互作用的局限性。
• 通过数据挖掘技术降低选择问题的维度，识别出相关的候选物化视图与索引。
• 开发成本模型，评估联合视图与索引配置的性能增益与维护开销之间的权衡。
• 通过物化视图与索引的集成选择，实现最优的存储空间共享与查询响应时间优化。

提出的方法

• 在具有代表性的查询工作负载上应用数据挖掘技术——特别是频繁项集挖掘——以生成一个精简且相关的物化视图与索引候选集。
• 使用成本模型评估每种候选配置的效益-开销比，整合物化视图与索引之间的交互作用。
• 将联合选择问题建模为带约束的优化问题：在存储空间限制S的条件下最小化查询执行成本。
• 在成本模型中整合视图-索引交互作用，认识到对物化视图建立索引可降低其维护成本或提升查询性能。
• 在三种场景下应用该方法：孤立的视图选择、孤立的索引选择，以及联合选择，其中后者为主要贡献。
• 在实验中使用对数尺度，以可视化不同存储空间分配（S/S_VI）下的性能表现。

实验结果

研究问题

• RQ1 如何有效利用数据挖掘技术，以减少数据仓库中物化视图与索引候选对象的搜索空间？
• RQ2 视图-索引交互作用对物理设计配置的整体性能与存储效率有何影响？
• RQ3 在查询响应时间与存储利用率方面，联合选择物化视图与索引与独立选择相比有何差异？
• RQ4 在何种存储空间约束下，联合选择比孤立选择视图或索引更为有效？
• RQ5 能否设计一种通用且模块化的方案，以支持多种DBMS平台，并可扩展至其他物理设计技术（如聚簇或分区）？

主要发现

• 与独立选择相比，物化视图与索引的联合选择在存储空间中等偏大时，查询响应时间最高可提升30%，尤其在该条件下表现更优。
• 所提方法平均将候选索引数量减少约40%，同时保持相近的性能，显著降低了维护开销。
• 当存储空间严重受限时，孤立索引选择优于联合选择，原因在于索引的大小通常小于物化视图。
• 成本模型有效捕捉了视图-索引交互作用，生成的配置效率高于通过独立优化得出的结果。
• 该方法展现出良好的可扩展性与模块化特性，支持替换数据挖掘与成本模型组件，以实现可扩展性。
• 在基于Oracle的系统上的实验结果证实了该方法的有效性，尽管由于专有且不可复用的实现，与现有系统的直接比较受到限制。