[논문 리뷰] A New Parallelization Method for K-means

Shikai Jin, Yuxuan Cui외 1명|arXiv (Cornell University)|2016. 08. 23.

Advanced Clustering Algorithms Research참고 문헌 7인용 수 6

한 줄 요약

이 논문은 k-d 트리 기반의 사전 처리 단계를 통해 고도로 병렬화된 중심점 갱신을 가능하게 하는 새로운 병렬 k-means 방법인 IPKMeans를 제안한다. 각 중심점을 다수의 리듀서가 동시에 갱신할 수 있도록 하여 I/O 오버헤드를 최소화함으로써, Hadoop에서 대규모 데이터셋에 대해 PKMeans에 비해 최대 66%까지 I/O 비용을 절감하고 실행 시간을 단축시키며, 유사한 클러스터링 결과를 얻는 데 있어 훨씬 높은 효율성을 달성한다.

ABSTRACT

K-means is a popular clustering method used in data mining area. To work with large datasets, researchers propose PKMeans, which is a parallel k-means on MapReduce. However, the existing k-means parallelization methods including PKMeans have many limitations. PKMeans can't finish all its iterations in one MapReduce job, so it has to repeat cascading MapReduce jobs in a loop until convergence. On the most popular MapReduce platform, Hadoop, every MapReduce job introduces significant I/O overheads and extra execution time at stages of job start-up and shuffling. Even worse, it has been proved that in the worst case, k-means needs $2^{Ω(n)}$ MapReduce jobs to converge, where n is the number of data instances, which means huge overheads for large datasets. Additionally, in PKMeans, at most one reducer can be assigned to and update each centroid, so PKMeans can only make use of limited number of parallel reducers. In this paper, we propose an improved parallel method for k-means, IPKMeans, which has a parallel preprocessing stage using k-d tree and can finish k-means in one single MapReduce job with much more reducers working in parallel and lower I/O overheads than PKMeans and has a fast post-processing stage generating the final result. In our method, both k-d tree and the new improved parallel k-means are implemented using MapReduce and tested on Hadoop. Our experiments show that with same dataset and initial centroids, our method has up to 2/3 lower I/O overheads and consumes less amount of time than PKMeans to get a very close clustering result.

연구 동기 및 목표

• PKMeans와 같은 기존의 MapReduce 기반 k-means 방법들이 겪는 높은 I/O 오버헤드와 확장성 한계를 해결하기 위해.
• 모든 반복을 한 번의 작업 반복 내에서 완료함으로써, PKMeans가 요구하는 다중 MapReduce 작업의 연쇄적 실행을 제거하기 위해.
• 각 중심점을 동시에 갱신할 수 있는 다수의 리듀서를 허용함으로써 병렬성을 높이기 위해.
• Hadoop에서 대규모 k-means 클러스터링의 수렴 시간과 I/O 비용을 줄이기 위해.
• 클러스터링 품질을 유지하면서 성능을 향상시키는 확장 가능하고 효율적인 병렬 k-means 프레임워크를 설계하기 위해.

제안 방법

• 주요 MapReduce 작업 전에 데이터 포인트의 효율적 공간 분할을 위해 사전 처리 단계에서 k-d 트리가 구축된다.
• 주요 MapReduce 작업은 k-d 트리 구조를 사용하여 데이터 포인트를 중심점에 할당하며, 이로써 서로 다른 영역을 병렬로 처리할 수 있는 다수의 리듀서가 가능해진다.
• 동일한 중심점을 다수의 리듀서가 동시에 갱신할 수 있도록 허용함으로써 병렬성을 증가시키고 필요한 작업 반복 수를 줄인다.
• 최종 클러스터링 결과를 도출하기 위해 리듀서 간의 부분 중심점 갱신을 집계하는 후처리 단계가 존재한다.
• k-d 트리 구축과 개선된 k-means 알고리즘은 모두 Hadoop MapReduce를 사용하여 구현된다.
• 모든 반복을 한 번의 MapReduce 작업 내에서 완료함으로써 반복적인 작업 스케줄링과 샤프링을 방지한다.

실험 결과

연구 질문

• RQ1 클러스터링 정확도를 유지하면서 k-means 클러스터링을 단일 MapReduce 작업 내에서 완료할 수 있는가?
• RQ2 동일한 중심점을 다수의 리듀서가 효과적으로 갱신함으로써 병렬성과 I/O 오버헤드를 향상시킬 수 있는가?
• RQ3 k-d 트리 사전 처리가 분산 k-means 클러스터링에서 통신 및 계산 비용을 줄일 수 있는가?
• RQ4 제안된 방법의 I/O 오버헤드와 실행 시간은 대규모 데이터셋에서 PKMeans에 비해 어떻게 비교되는가?
• RQ5 제안된 방법은 반복 횟수를 줄이며 PKMeans와 유사한 클러스터링 정확도로 수렴할 수 있는가?

주요 결과

• IPKMeans는 PKMeans가 요구하는 다중 작업 반복을 제거하고 단일 MapReduce 작업 내에서 k-means 클러스터링을 완료한다.
• 동일한 데이터셋과 초기 중심점 조건에서 PKMeans 대비 최대 66%까지 I/O 오버헤드를 절감한다.
• 작업 시작 및 샤프링 오버헤드가 감소함에 따라 실행 시간이 PKMeans보다 현저히 낮다.
• k-d 트리의 사용은 더 효율적인 데이터 분할을 가능하게 하며, 동일한 중심점을 다수의 리듀서가 갱신할 수 있도록 한다.
• 최종 클러스터링 결과는 PKMeans와 매우 유사하여 정확도 손실이 최소한이다.
• 반복적인 작업 스케줄링을 최소화하고 리듀서 간 로드 분배를 향상시킴으로써 대규모 데이터셋에서 더 나은 확장성을 보인다.