[论文解读] Efficient Processing of k Nearest Neighbor Joins using MapReduce

Wei Lü, Yanyan Shen+2 more|arXiv (Cornell University)|Jun 30, 2012

Data Mining Algorithms and Applications被引用 6

一句话总结

该论文提出了一种在MapReduce中处理大规模、多维数据集的高效kNN连接算法，通过基于Voronoi图的划分与分组策略，最小化数据洗牌与计算开销。该方法引入了一个成本模型以及两种贪婪分组方法，以减少副本数量，从而在真实与合成数据集上实现高可扩展性与高性能。

ABSTRACT

k nearest neighbor join (kNN join), designed to find k nearest neighbors from a dataset S for every object in another dataset R, is a primitive operation widely adopted by many data mining applications. As a combination of the k nearest neighbor query and the join operation, kNN join is an expensive operation. Given the increasing volume of data, it is difficult to perform a kNN join on a centralized machine efficiently. In this paper, we investigate how to perform kNN join using MapReduce which is a well-accepted framework for data-intensive applications over clusters of computers. In brief, the mappers cluster objects into groups; the reducers perform the kNN join on each group of objects separately. We design an effective mapping mechanism that exploits pruning rules for distance filtering, and hence reduces both the shuffling and computational costs. To reduce the shuffling cost, we propose two approximate algorithms to minimize the number of replicas. Extensive experiments on our in-house cluster demonstrate that our proposed methods are efficient, robust and scalable.

研究动机与目标

• 解决随着数据量和维度增加，集中式系统中kNN连接带来的高计算与洗牌成本问题。
• 在分布式环境中利用MapReduce框架实现高效的kNN连接处理。
• 通过智能数据分组减少副本数量，最小化数据洗牌与计算开销。
• 设计一种可扩展、稳健且高效的kNN连接方法，且无需对MapReduce框架进行修改。

提出的方法

• 使用精心选择的pivot点的Voronoi图对对象进行初始分组。
• 仅在单元间距离受限制时才对Voronoi单元进行分组，以确保kNN邻居保留在同一组内。
• 应用成本模型估算洗牌过程中的副本数量，并指导分组决策。
• 提出两种贪婪分组策略，在保持连接正确性的前提下最小化副本数量。
• 在mapper和reducer阶段应用剪枝规则，以减少不必要的距离计算。
• 根据分组分配将对象映射到reducer，确保查询对象的所有kNN邻居被共置。

实验结果

研究问题

• RQ1 如何在不依赖集中式索引的情况下，在分布式MapReduce环境中高效实现kNN连接？
• RQ2 何种分组策略可在确保正确kNN结果的前提下，最小化跨reducer的副本数量？
• RQ3 与基线方法相比，所提方法在数据规模和维度增加时的可扩展性如何？
• RQ4 不同划分与分组参数对洗牌与计算成本的影响是什么？
• RQ5 所提方法在运行时间与资源使用方面是否优于现有的基于MapReduce的kNN连接技术？

主要发现

• 所提出的PGBJ方法在运行时间与洗牌成本方面均优于H-BRJ与PBJ，且随着数据规模增大，性能优势更加显著。
• 洗牌成本随计算节点数量线性增长，但PGBJ因副本减少而保持更低的开销。
• 该方法在不同数据集上均表现出良好可扩展性，在真实与合成数据上均展现出一致的性能提升。
• 成本模型能准确预测副本数量，从而有效支持贪婪分组策略，减少洗牌开销。
• 该方法在不同数据分布与维度下均表现出鲁棒性，维持了高效的剪枝性能。
• 该实现无需对MapReduce框架进行任何修改，可轻松部署于现有集群环境。