[논문 리뷰] Parallel K-Medoids++ Spatial Clustering Algorithm Based on MapReduce

Yue Xia, Man Wang외 2명|arXiv (Cornell University)|2016. 08. 24.

Advanced Clustering Algorithms Research참고 문헌 5인용 수 10

한 줄 요약

이 논문은 지도를 기반으로 한 병렬 K-Medoids++ 공간 클러스터링 알고리즘을 제안하여 대규모 공간 데이터셋을 효율적으로 처리한다. 개선된 초기화 방법을 MapReduce와 통합함으로써 반복 횟수를 줄이고, 기존 K-Medoids에 비해 상용 하드웨어에서 더 뛰어난 확장성과 성능을 달성한다.

ABSTRACT

Clustering analysis has received considerable attention in spatial data mining for several years. With the rapid development of the geospatial information technologies, the size of spatial information data is growing exponentially which makes clustering massive spatial data a challenging task. In order to improve the efficiency of spatial clustering for large scale data, many researchers proposed several efficient clustering algorithms in parallel. In this paper, a new K-Medoids++ spatial clustering algorithm based on MapReduce for clustering massive spatial data is proposed. The initialization algorithm to decrease the number of iterations is combined with the MapReduce framework. Comparative Experiments conducted over different dataset and different number of nodes indicate that the proposed K-Medoids spatial clustering algorithm provides better efficiency than traditional K-Medoids and scales well while processing massive spatial data on commodity hardware.

연구 동기 및 목표

• 지리정보 기술에서 생성되는 대규모 공간 데이터셋 클러스터링 문제의 증가에 대응한다.
• 분산 컴퓨팅을 활용하여 빅데이터를 위한 공간 클러스터링의 효율성을 향상시킨다.
• 최적화된 초기화 전략을 통해 K-Medoids 클러스터링의 반복 횟수를 줄인다.
• MapReduce 병렬 컴퓨팅 모델을 사용하여 상용 하드웨어에서 높은 확장성과 성능을 달성한다.

제안 방법

• 더 높은 다양성과 품질을 확보하기 위해 K-Medoids++ 초기화 알고리즘을 적응시켜 초기 클러스터 중심을 선정한다.
• 데이터 처리를 맵 및 리듀스 단계로 나누어 MapReduce 프레임워크 내에서 클러스터링 프로세스를 구현한다.
• 맵 단계에서는 거리 계산을 기반으로 데이터 포인트를 가장 가까운 메도이드에 할당한다.
• 리듀스 단계에서는 각 클러스터 내 거리의 합을 최소화하여 메도이드를 갱신한다.
• 여러 개의 MapReduce 반복을 통해 클러스터 할당과 메도이드 갱신을 반복적으로 개선한다.
• K-Medoids++ 초기화를 통합함으로써 수렴 속도와 클러스터링 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 지도 기반 병렬 K-Medoids++ 알고리즘이 대규모 공간 데이터에 대한 클러스터링 시간을 크게 줄일 수 있는가?
• RQ2 제안된 초기화 방법은 표준 K-Medoids에 비해 반복 횟수와 수렴 속도에 어떤 영향을 미치는가?
• RQ3 데이터 크기와 컴퓨팅 노드 수가 증가함에 따라 알고리즘이 얼마나 잘 확장되는가?
• RQ4 효율성과 정확도 측면에서 기존 K-Medoids에 비해 제안된 알고리즘의 성능은 어떻게 되는가?
• RQ5 상용 하드웨어를 사용할 경우 공간 클러스터링 작업의 높은 확장성 달성에 어떤 영향을 미치는가?

주요 결과

• 개선된 K-Medoids++ 초기화 덕분에 수렴에 필요한 반복 횟수가 감소한다.
• 비교 실험 결과 다양한 데이터셋과 노드 수에서 기존 K-Medoids보다 뛰어난 효율성을 보였다.
• 데이터 크기와 클러스터 수가 증가함에 따라 상용 하드웨어에서 잘 확장되며 성능을 유지한다.
• 노드 수가 증가함에 따라 일관되게 성능 향상이 관찰되어 강력한 수평 확장성을 보였다.
• K-Medoids++와 MapReduce의 통합은 처리 시간을 단축시키고 계산 오버헤드를 줄였다.
• 효율성을 유지하면서도 높은 클러스터링 품질을 달성하여 실세계의 대규모 공간 데이터 응용에 적합하다.