[논문 리뷰] A Tabu Search based clustering algorithm and its parallel implementation on Spark

Yinhao Lu, Buyang Cao외 2명|arXiv (Cornell University)|2017. 02. 05.

Advanced Clustering Algorithms Research참고 문헌 15인용 수 4

한 줄 요약

이 논문은 국소 최적해를 피하기 위해 국소 최적해를 피하는 Tabu Search 기법을 통합한 K-means 군집화 알고리즘을 제안하며, 이는 대용량 데이터 워크로드에서 Apache Spark를 활용해 효율적으로 구현된다. 실험 결과, Spark MLlib의 표준 K-means에 비해 더 뛰어난 확장성, 정확도 및 효과성을 보였다.

ABSTRACT

The well-known K-means clustering algorithm has been employed widely in different application domains ranging from data analytics to logistics applications. However, the K-means algorithm can be affected by factors such as the initial choice of centroids and can readily become trapped in a local optimum. In this paper, we propose an improved K-means clustering algorithm that is augmented by a Tabu Search strategy, and which is better adapted to meet the needs of big data applications. Our design is further enhanced to take advantage of parallel processing based on the Spark framework. Computational experiments demonstrate the superiority of our Tabu Search based clustering algorithm over a widely used version of the K-means approach embodied in Spark MLlib, comparing the algorithms in terms of scalability, accuracy, and effectiveness.

연구 동기 및 목표

• K-means의 초기 중심점 선택에 대한 민감성과 국소 최적해로 수렴하는 경향을 해결하기 위해.
• K-means 프레임워크에 Tabu Search 메타휴리스틱 전략을 통합하여 군집 품질을 향상시키기 위해.
• 스파크 분산 컴퓨팅 프레임워크를 활용해 대용량 데이터에서 효율적이고 확장 가능한 군집화를 가능하게 하기 위해.
• 최신 구현체와의 비교를 통해 제안된 알고리즘의 정확도, 확장성 및 계산 효율성 측면에서 성능을 평가하기 위해.

제안 방법

• 최근에 방문한 해를 기억하는 단기 기억을 유지하여 국소 최적해를 벗어나기 위해 표준 K-means 알고리즘에 Tabu Search 메커니즘을 통합한다.
• 탭류 목록을 사용해 특정 중심점 구성으로의 이동을 제한하여 탐색 공간에서 다양성을 증진시킨다.
• 군집 중심점의 재배치를 기반으로 이웃 구조를 설계하여 대안 군집 솔루션을 탐색한다.
• Apache Spark의 내구성 있는 분산 데이터셋(RDD)을 활용해 효율적인 데이터 파artitioning과 병렬 실행을 위한 분산 방식으로 알고리즘을 구현한다.
• 반복 계산 모델을 활용해 스파크 내부에서 Tabu Search 로직을 통합하여 다중 라운드 개선을 지원한다.
• 클러스터 노드 간의 데이터 재정렬을 최소화하고 메모리 내 계산을 극대화하여 통신 오버헤드를 최적화한다.

실험 결과

연구 질문

• RQ1 Tabu Search는 고차원 및 대규모 데이터셋에서 K-means의 해 품질을 효과적으로 향상시킬 수 있는가?
• RQ2 표준 K-means에 비해 제안된 알고리즘이 수렴 속도와 안정성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 스파크 기반 병렬 처리가 Tabu Search-K-means 하이브리드의 확장성에 얼마나 기여하는가?
• RQ4 알고리즘이 Spark MLlib의 K-means 구현체에 비해 정확도와 런타임 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 Tabu Search 기반 K-means 알고리즘은 다양한 벤치마크 데이터셋에서 Spark MLlib의 K-means에 비해 유의미하게 높은 군집 정확도를 달성한다.
• 알고리즘은 최적화된 스파크 통합 덕분에 더 효율적인 대규모 데이터셋 처리를 통해 뛰어난 확장성을 보여준다.
• 계산 실험을 통해 Tabu Search 메커니즘이 열악한 국소 최적해로 수렴할 가능성을 감소시킴을 확인할 수 있었다.
• 스파크에서의 병렬 구현은 높은 로드 밸런싱을 유지하면서도 통신 오버헤드를 최소화하여 클러스터 전반에 걸친 효율적인 분포를 가능하게 했다.