[论文解读] Equi-depth Histogram Construction for Big Data with Quality Guarantees

Burak Yildiz, Tolga Büyüktanır+1 more|arXiv (Cornell University)|Jun 17, 2016

Cloud Computing and Resource Management参考文献 27被引用 6

一句话总结

本文提出了一种新颖的基于合并的方​​法，用于在 Hadoop 上对大规模数据构建近似等深直方图，利用数据分片的预计算精确直方图，确保桶大小和范围查询的误差上限为 $2\beta/T$。该方法在 Hadoop 上实现了高效的按需直方图构建，具有理论和实证上的准确性保证，其一致性与精度优于基于元组采样的方法，且仅带来适度的离线计算开销。

ABSTRACT

The amount of data generated and stored in cloud systems has been increasing exponentially. The examples of data include user generated data, machine generated data as well as data crawled from the Internet. There have been several frameworks with proven efficiency to store and process the petabyte scale data such as Apache Hadoop, HDFS and several NoSQL frameworks. These systems have been widely used in industry and thus are subject to several research. The proposed data processing techniques should be compatible with the above frameworks in order to be practical. One of the key data operations is deriving equi-depth histograms as they are crucial in understanding the statistical properties of the underlying data with many applications including query optimization. In this paper, we focus on approximate equi-depth histogram construction for big data and propose a novel merge based histogram construction method with a histogram processing framework which constructs an equi-depth histogram for a given time interval. The proposed method constructs approximate equi-depth histograms by merging exact equi-depth histograms of partitioned data by guaranteeing a maximum error bound on the number of items in a bucket (bucket size) as well as any range on the histogram.

研究动机与目标

• 解决在实时分析中为大规模分布式数据集构建准确等深直方图的挑战。
• 为可扩展的大数据处理提供与 Hadoop 和 NoSQL 框架兼容的实用解决方案。
• 在直方图合并过程中保证用户指定的桶大小和范围查询的最大误差界限。
• 实现从数据分片的预计算子直方图中动态、按需构建直方图。
• 通过确保在不同数据分片中误差的一致性和有界性，超越现有基于采样的方法。

提出的方法

• 该方法使用 MapReduce 作业通过排序和分桶，离线为每个数据分片构建精确的等深直方图。
• 利用一种新颖的合并算法，将来自多个分片的 $T$-桶子直方图合并为一个 $\beta$-桶等深直方图。
• 合并过程确保桶大小和任意范围查询的理论最大误差界限为 $2\beta/T$，该结果基于数学分析推导得出。
• 该框架通过组合预计算的直方图而无需重新处理原始数据，支持对任意分片子集的按需直方图生成。
• 它使用一种直方图处理框架，以增量方式存储和检索子直方图，从而实现高效的更新和查询。
• 该方法利用日志和事务数据的增量特性，支持每日或每小时的预计算，实现快速响应时间。

实验结果

研究问题

• RQ1 我们能否仅使用数据分片的预计算子直方图，在大规模数据上构建具有可证明误差界限的准确等深直方图？
• RQ2 与基于元组的随机采样相比，精确子直方图的合并方法在误差一致性与准确性方面表现如何？
• RQ3 参数 $T$（子直方图数量）对合并后直方图的误差界限和性能有何影响？
• RQ4 所提出的方法能否在不同数据分布（包括倾斜数据）下保持有界的误差？
• RQ5 在真实工作负载下，与在线采样相比，离线预计算成本在时间和可扩展性方面如何？

主要发现

• 如图 16a 所示，所提出的基于合并的方法在真实数据上的边界误差至少比基于元组的采样方法低 10 倍。
• 随着 $T$ 增加，合并方法的平均桶误差 ($\mu_b$) 始终保持非递增，表现出稳定性和可预测性。
• 基于元组的采样方法表现出不一致的误差行为，$\mu_b$ 并未随 $T$ 增加而减小，表明其可靠性较差。
• 在真实数据上，合并方法的离线汇总处理约需每天 12 分钟，而采样方法约需 4 分钟，但合并方法能确保误差有界。
• 合并每日汇总的运行时间与采样方法相当，真实数据上合并方法耗时 117 秒，倾斜数据上为 73 秒（见表 II）。
• 该框架支持对任意分片子集的快速按需直方图构建，使其在云环境和大数据系统中的实时分析中具有实际可行性。