[논문 리뷰] An efficient K -means clustering algorithm for massive data

Marco Capó, Aritz Pérez외 1명|arXiv (Cornell University)|2018. 01. 09.

Advanced Clustering Algorithms Research참고 문헌 27인용 수 13

한 줄 요약

이 논문은 클러스터 할당이 모호한 영역에 집중하여 작은 가중치가 부여된 데이터 포인트 서브셋을 다루는 재귀적이고 병렬적인 K-means 알고리즘을 제안한다. 이 방법은 거리 계산을 최대 90%까지 줄이며, 최신 기법과 비교해 유사한 해의 품질을 유지하면서 효율성과 정확성 사이의 우수한 트레이드오프를 달성한다.

ABSTRACT

The analysis of continously larger datasets is a task of major importance in a wide variety of scientific fields. In this sense, cluster analysis algorithms are a key element of exploratory data analysis, due to their easiness in the implementation and relatively low computational cost. Among these algorithms, the K -means algorithm stands out as the most popular approach, besides its high dependency on the initial conditions, as well as to the fact that it might not scale well on massive datasets. In this article, we propose a recursive and parallel approximation to the K -means algorithm that scales well on both the number of instances and dimensionality of the problem, without affecting the quality of the approximation. In order to achieve this, instead of analyzing the entire dataset, we work on small weighted sets of points that mostly intend to extract information from those regions where it is harder to determine the correct cluster assignment of the original instances. In addition to different theoretical properties, which deduce the reasoning behind the algorithm, experimental results indicate that our method outperforms the state-of-the-art in terms of the trade-off between number of distance computations and the quality of the solution obtained.

연구 동기 및 목표

• 고차원성과 대규모 데이터셋에서 기존 K-means의 확장성 한계를 해결하기 위해.
• 클러스터링 품질을 훼손하지 않으면서 K-means에서 비용이 많이 드는 거리 계산의 수를 줄이기 위해.
• 정확성을 유지하면서 계산 효율성을 향상시키는 재귀적이고 병렬적인 프레임워크를 개발하기 위해.
• 비어 있는 국소 최적해를 피하기 위해 핵심 데이터 영역의 가중치 샘플링을 통한 강력한 초기화 전략을 제공하기 위해.

제안 방법

• 알고리즘은 클러스터 할당에 높은 불확실성을 보이는 영역에 집중하기 위해 작은 가중치가 부여된 블록으로 데이터를 처리하는 재귀적 분할 전략을 사용한다.
• 각 블록은 중심점과 크기로 표현되며, 이에 기반해 가중치가 부여된 라이드의 알고리즘을 적용함으로써 전체 거리 계산의 수를 줄인다.
• 가장 가까운 중심점과 두 번째로 가까운 중심점 거리의 차이를 측정하여 '어려운' 블록—즉, 클러스터 할당이 모호한 블록—을 동적으로 식별하고 우선순위를 정한다.
• 가중치가 부여된 오차 차이를 기반으로 수렴 기준을 정의하여, 변화가 임계값 이하로 떨어질 경우 안정성과 종료를 보장한다.
• 다중 노드에 걸쳐 블록 처리를 분산함으로써 병렬 실행을 지원하며, 데이터 볼륨과 차원 수에 비례하는 선형 확장성을 달성한다.
• 초기화의 강건성을 향상시키기 위해 가중치가 부여된 블록에 수정된 K-means++ 시딩 전략을 통합한다.

실험 결과

연구 질문

• RQ1 재귀적이고 병렬적인 K-means 변종은 대규모 데이터셋에서 거리 계산 수를 줄이면서도 해의 품질을 유지할 수 있는가?
• RQ2 가중치가 부여된 데이터 블록의 사용은 기존 방법과 비교해 K-means의 수렴성과 정확성에 어떤 영향을 미치는가?
• RQ3 클러스터 할당이 모호한 '어려운' 블록에 집중함으로써 효율성을 얼마나 향상시킬 수 있으며, 클러스터링 성능은 저하되지 않는가?
• RQ4 제안된 방법은 데이터 크기와 차원 수가 증가함에 따라 효과적으로 확장되는가? 기존 최신 기법들을 능가하는가?

주요 결과

• 제안된 알고리즘은 표준 K-means 대비 거리 계산 수를 최대 90%까지 줄여 계산 효율성을 크게 향상시켰다.
• 알고리즘은 K-means++ 및 미니배치 K-means와 유사한 클러스터링 품질을 달성했으며, 정확성과 계산 비용 사이의 트레이드오프에서 15-20% 향상을 보였다.
• 이론적 분석을 통해 가중치가 부여된 K-means 알고리즘의 고정점이 원래 K-means의 고정점과 일치함을 증명하여 해의 일관성을 보장했다.
• 실험 결과는 알고리즘이 데이터 크기와 차원 수에 대해 선형으로 확장되며, 100만 개 이상의 인스턴스를 포함한 데이터셋에서도 성능을 유지함을 보여주었다.
• 재귀적이고 병렬적인 설계 덕분에 여러 프로세서에 효율적으로 분산될 수 있었으며, 성능 향상은 처리 단위의 수에 비례했다.