[论文解读] A Learning Framework for Self-Tuning Histograms

Raajay Viswanathan, Prateek Jain+2 more|arXiv (Cornell University)|Nov 30, 2011

Sparse and Compressive Sensing Techniques参考文献 23被引用 5

一句话总结

本文提出了一种基于学习理论的自调优直方图框架，利用查询反馈实现可扩展且准确的 selectivity 估计。该框架提出了 EquiHist 用于等宽直方图，以及 SpHist —— 通过 Haar 小波将直方图学习问题转化为稀疏向量恢复问题，其在真实世界多维数据上的误差相比 ISOMER 最高降低 50%。

ABSTRACT

In this paper, we consider the problem of estimating self-tuning histograms using query workloads. To this end, we propose a general learning theoretic formulation. Specifically, we use query feedback from a workload as training data to estimate a histogram with a small memory footprint that minimizes the expected error on future queries. Our formulation provides a framework in which different approaches can be studied and developed. We first study the simple class of equi-width histograms and present a learning algorithm, EquiHist, that is competitive in many settings. We also provide formal guarantees for equi-width histograms that highlight scenarios in which equi-width histograms can be expected to succeed or fail. We then go beyond equi-width histograms and present a novel learning algorithm, SpHist, for estimating general histograms. Here we use Haar wavelets to reduce the problem of learning histograms to that of learning a sparse vector. Both algorithms have multiple advantages over existing methods: 1) simple and scalable extensions to multi-dimensional data, 2) scalability with number of histogram buckets and size of query feedback, 3) natural extensions to incorporate new feedback and handle database updates. We demonstrate these advantages over the current state-of-the-art, ISOMER, through detailed experiments on real and synthetic data. In particular, we show that SpHist obtains up to 50% less error than ISOMER on real-world multi-dimensional datasets.

研究动机与目标

• 解决工作负载无关直方图在不常访问数据上浪费空间且无法适应更新的问题。
• 克服现有自调优方法（如 ISOMER）在可扩展性和鲁棒性方面的挑战，这些方法丢弃了宝贵的查询反馈，且在高维或不一致数据上表现不佳。
• 设计一个理论基础扎实、可扩展的学习框架，充分利用所有可用的查询反馈以最小化期望估计误差。
• 通过自然加权近期反馈并处理不一致的查询反馈，实现数据库更新下的动态直方图维护。
• 为等宽直方图提供理论保证，并将框架扩展至多维数据，同时保持最小的开销。

提出的方法

• 将直方图学习表述为经验风险最小化问题，将查询反馈记录（QFRs）视为来自未知分布的训练样本。
• 提出 EquiHist，一种用于一维等宽直方图的学习算法，通过使用所有 QFRs 最小化期望误差，并提供近似质量的理论界。
• 引入 SpHist，利用 Haar 小波变换将直方图表示为稀疏向量，从而将问题转化为稀疏向量恢复问题。
• 将正交匹配追踪（OMP）算法改进以从 QFRs 中学习小波系数，实现高效且准确的直方图估计。
• 通过在各维度上应用小波变换，使框架天然可扩展至多维数据。
• 通过为近期 QFRs 分配更高权重，引入动态反馈机制，实现对数据库更新和不一致反馈的鲁棒适应。

实验结果

研究问题

• RQ1 在何种场景下等宽直方图表现良好或欠佳？我们能否为自调优设置中的近似质量提供理论保证？
• RQ2 我们能否设计一种可扩展且鲁棒的学习框架，充分利用所有可用的查询反馈，而无需启发式剪枝，与 ISOMER 不同？
• RQ3 如何在高维或稀疏数据中，利用基于小波的稀疏性，有效表示和学习一般直方图？
• RQ4 与最大熵或网格化方法相比，稀疏向量恢复技术能否提升直方图的准确性和可扩展性？
• RQ5 该框架如何在保持准确性和效率的同时，处理动态工作负载和数据库更新？

主要发现

• SpHist 在真实世界多维数据集上的选择性估计误差相比 ISOMER 最高降低 50%，尤其在桶数量较少时表现更优。
• EquiHist 首次为自调优设置中的等宽直方图提供了理论保证，表明其误差在合理假设下可任意接近最优直方图的误差。
• 该框架成功处理了不一致的查询反馈，并通过加权近期 QFRs 支持增量更新，使其对数据库变更具有鲁棒性。
• SpHist 即使在稀疏、高维设置下也能良好恢复真实底层分布——在 Census 2-D 数据集上实现了高保真度的恢复。
• EquiHist 和 SpHist 在直方图桶数和查询反馈记录数增加时均表现出高效的可扩展性，在内存和时间效率上均优于 ISOMER。
• 使用 Haar 小波可有效压缩分段常数信号（即直方图），从而通过稀疏恢复从稀疏反馈中实现准确估计。