[논문 리뷰] Efficient Processing of k Nearest Neighbor Joins using MapReduce

Wei Lü, Yanyan Shen외 2명|arXiv (Cornell University)|2012. 06. 30.

Data Mining Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 대규모 다차원 데이터셋을 위한 MapReduce 환경에서 효율적인 kNN 조인 알고리즘을 제안한다. 베이저 도형 기반의 분할 및 군집 전략을 사용하여 데이터 이동과 계산을 최소화한다. 비용 모델과 두 가지 근사 군집 전략을 도입하여 복제본 수를 줄여, 실제 및 합성 데이터셋에서 높은 확장성과 성능을 달성한다.

ABSTRACT

k nearest neighbor join (kNN join), designed to find k nearest neighbors from a dataset S for every object in another dataset R, is a primitive operation widely adopted by many data mining applications. As a combination of the k nearest neighbor query and the join operation, kNN join is an expensive operation. Given the increasing volume of data, it is difficult to perform a kNN join on a centralized machine efficiently. In this paper, we investigate how to perform kNN join using MapReduce which is a well-accepted framework for data-intensive applications over clusters of computers. In brief, the mappers cluster objects into groups; the reducers perform the kNN join on each group of objects separately. We design an effective mapping mechanism that exploits pruning rules for distance filtering, and hence reduces both the shuffling and computational costs. To reduce the shuffling cost, we propose two approximate algorithms to minimize the number of replicas. Extensive experiments on our in-house cluster demonstrate that our proposed methods are efficient, robust and scalable.

연구 동기 및 목표

• 데이터 양과 차원 수가 증가함에 따라 중심화된 시스템에서 kNN 조인의 높은 계산 비용과 데이터 이동 비용을 해결하기 위해.
• MapReduce 프레임워크를 활용하여 분산 환경에서 효율적인 kNN 조인 처리를 가능하게 하기 위해.
• 지능적인 데이터 군집 전략을 통해 복제본 수를 줄임으로써 데이터 이동과 계산 오버헤드를 최소화하기 위해.
• MapReduce 프레임워크의 수정 없이도 확장성 있고 견고하며 효율적인 kNN 조인 방법을 설계하기 위해.

제안 방법

• 적절히 선택된 피벗을 사용한 베이저 도형을 활용해 객체를 초기 군집으로 분할한다.
• 셀 간 거리가 제한되어 있을 경우에만 베이저 셀을 군집화하여 kNN 이웃이 동일한 군집 내에 있도록 보장한다.
• 데이터 이동 중 복제본 수를 추정하기 위한 비용 모델을 적용하고 군집 결정을 안내한다.
• 복제본 수를 최소화하면서도 조인 정확성을 유지하는 두 가지 근사 군집 전략을 제안한다.
• 맵퍼 및 리듀서 단계에서 불필요한 거리 계산을 줄이기 위해 절단 규칙을 적용한다.
• 군집 할당 기반으로 객체를 리듀서에 매핑하여, 쿼리 객체의 모든 kNN 이웃이 동일한 위치에 있도록 보장한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 인덱스에 의존하지 않고 분산 MapReduce 환경에서 kNN 조인을 어떻게 효율적으로 구현할 수 있는가?
• RQ2 다양한 리듀서 간 데이터 복제본 수를 최소화하면서도 정확한 kNN 결과를 보장하는 군집 전략은 무엇인가?
• RQ3 기본 기법 대비 제안된 방법이 데이터 크기와 차원 수 증가에 따라 어떻게 확장되는가?
• RQ4 다양한 분할 및 군집 파라미터가 데이터 이동 비용과 계산 비용에 어떤 영향을 미치는가?
• RQ5 기존의 MapReduce 기반 kNN 조인 기법 대비 런타임과 자원 사용 측면에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 PGBJ 방법은 런타임과 데이터 이동 비용 측면에서 H-BRJ 및 PBJ를 모두 초월하며, 데이터 크기가 증가할수록 성능 향상이 더 두드러진다.
• 데이터 이동 비용은 컴퓨팅 노드 수와 선형적으로 증가하지만, PGBJ는 복제본 감소 덕분에 낮은 오버헤드를 유지한다.
• 다양한 데이터셋에서 잘 확장되며, 실제 및 합성 데이터에서 일관된 성능 향상을 보여준다.
• 비용 모델은 복제본 수를 정확히 예측할 수 있어, 효과적인 근사 군집 전략을 통해 데이터 이동을 줄이는 데 기여한다.
• 다양한 데이터 분포와 차원 수에 걸쳐 강인하며, 높은 절단 효율성을 유지한다.
• 구현에 MapReduce 프레임워크의 수정이 필요 없어 기존 클러스터 환경에 쉽게 배포할 수 있다.