[论文解读] Approximate Distributed Joins in Apache Spark

Do Le Quoc, İstemi Ekin Akkuş+5 more|arXiv (Cornell University)|May 15, 2018

Advanced Database Systems and Queries参考文献 34被引用 5

一句话总结

本文提出 ApproxJoin，一种新颖的 Apache Spark 近似分布式连接算子，结合布隆过滤器压缩与分层抽样技术，在保持连接结果统计准确性的同时，显著降低数据重分布与通信开销。通过提前过滤不可连接的元组，并在连接过程中应用偏差校正的分层抽样，ApproxJoin 相较于标准 Spark 连接实现了 6–9× 的加速，数据重分布量减少 5–82×，且误差边界紧密，无需事先了解输入数据。

ABSTRACT

The join operation is a fundamental building block of parallel data processing. Unfortunately, it is very resource-intensive to compute an equi-join across massive datasets. The approximate computing paradigm allows users to trade accuracy and latency for expensive data processing operations. The equi-join operator is thus a natural candidate for optimization using approximation techniques. Although sampling-based approaches are widely used for approximation, sampling over joins is a compelling but challenging task regarding the output quality. Naive approaches, which perform joins over dataset samples, would not preserve statistical properties of the join output. To realize this potential, we interweave Bloom filter sketching and stratified sampling with the join computation in a new operator, ApproxJoin, that preserves the statistical properties of the join output. ApproxJoin leverages a Bloom filter to avoid shuffling non-joinable data items around the network and then applies stratified sampling to obtain a representative sample of the join output. Our analysis shows that ApproxJoin scales well and significantly reduces data movement, without sacrificing tight error bounds on the accuracy of the final results. We implemented ApproxJoin in Apache Spark and evaluated ApproxJoin using microbenchmarks and real-world case studies. The evaluation shows that ApproxJoin achieves a speedup of 6-9x over unmodified Spark-based joins with the same sampling rate. Furthermore, the speedup is accompanied by a significant reduction in the shuffled data volume, which is 5-82x less than unmodified Spark-based joins.

研究动机与目标

• 解决在 Apache Spark 等分布式系统中，大规模数据集上的等值连接所面临的高通信与计算开销问题。
• 在无需预计算统计信息或索引的前提下，为数据湖上的即席分析工作负载提供高精度、低延迟的近似查询处理能力。
• 通过保留实际连接输出的统计特性，克服对连接输入进行简单抽样所固有的偏差与不准确性。
• 设计一种可动态根据估计连接基数调整抽样率的系统，以满足用户定义的延迟与精度约束。
• 消除对主键、直方图或缓存样本等先验知识的依赖，使系统可应用于任意、无索引的数据。

提出的方法

• 利用布隆过滤器在数据重分布前过滤掉不可连接的元组，显著减少网络中的数据移动量。
• 利用布隆过滤器估算连接结果的选择度，从而指导动态抽样率选择，以满足用户指定的精度与延迟要求。
• 在剩余的潜在可连接元组上，于连接操作期间应用分层抽样，生成完整连接输出的代表性样本。
• 通过霍维茨-汤普森估计器校正潜在的抽样偏差，并利用中心极限定理确保近似结果的统计可靠性。
• 将 ApproxJoin 算子作为标准连接的即插即用替代品，集成到 Apache Spark 中，支持两路与多路连接。
• 设计系统时无需前置条件，避免依赖主键、外键或输入数据的预计算统计信息。

实验结果

研究问题

• RQ1 我们能否在不牺牲近似结果准确性的前提下，减少分布式等值连接中的通信开销？
• RQ2 如何确保在连接操作期间的抽样能保留完整连接输出的统计特性，避免因简单输入抽样带来的偏差？
• RQ3 我们能否基于运行时估计动态调整连接过程中的抽样率，以满足用户定义的精度与延迟约束？
• RQ4 是否可能在无需预计算统计信息、直方图或索引的前提下，实现高性能且低数据重分布的近似连接？
• RQ5 与现有近似连接技术相比，布隆过滤与分层抽样结合的方法在加速比与数据移动减少方面表现如何？

主要发现

• 在相同抽样率下，ApproxJoin 相较于基于标准 Spark 的等值连接实现了 6–9× 的加速，显著缩短查询响应时间。
• 与未经修改的 Spark 连接相比，该系统将重分布数据量减少了 5–82×，充分体现了通信开销的显著节省。
• 即使在不进行抽样的情况下，ApproxJoin 仍比标准 Spark 实现 2–10× 的加速，表明仅依靠布隆过滤器过滤即可获得性能增益。
• 由于采用霍维茨-汤普森估计器进行偏差校正，近似结果保持了紧密的误差边界，确保了可靠的统计置信区间。
• 该方法在两路与多路连接中均表现有效，且无需主键-外键关系或预计算统计信息。
• 在微基准测试、TPC-H 查询与真实工作负载上的评估证实了该方法在多样化分析工作负载下的鲁棒性与可扩展性。