[논문 리뷰] Scalable and Distributed Clustering via Lightweight Coresets.

Olivier Bachem, Mario Lučić외 1명|arXiv (Cornell University)|2017. 02. 27.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 12

한 줄 요약

이 논문은 클러스터링에서 곱셈 오차와 덧셈 오차를 모두 허용하는 경량 코어셋—작은 데이터 요약—을 도입한다. 제안된 알고리즘은 k-평균, 브레그만 클러스터링, 그리고 가우시안 혼합 모델에 대해 이러한 코어셋을 효율적으로 구성하며, 더 작은 코어셋과 기존 방법보다 뛰어난 성능을 바탕으로 더 빠르고 확장 가능하고 병렬 처리 가능한 클러스터링을 가능하게 한다.

ABSTRACT

Coresets are compact representations of data sets such that models trained on a coreset are provably competitive with models trained on the full data set. As such, they have been successfully used to scale up clustering models to massive data sets. While existing approaches generally only allow for multiplicative approximation errors, we propose a novel notion of coresets called lightweight coresets that allows for both multiplicative and additive errors. We provide a single algorithm to construct light-weight coresets for k-Means clustering, Bregman clustering and maximum likelihood estimation of Gaussian mixture models. The algorithm is substantially faster than existing constructions, embarrassingly parallel and resulting coresets are smaller. In an extensive experimental evaluation, we demonstrate that the proposed method outperforms existing coreset constructions.

연구 동기 및 목표

• 기존의 코어셋 방법이 대규모 클러스터링에서 보이는 확장성 한계를 해결하기 위해 새로운 코어셋 정의를 제안한다.
• 클러스터링 모델에서 곱셈 오차와 덧셈 오차 보장을 모두 제공하여 더 큰 유연성과 더 날카운 오차 경계를 제공한다.
• 기존 코어셋 방법에 비해 훨씬 더 빠르고, 매우 간단한 병렬 처리가 가능한 구축 알고리즘을 설계한다.
• 코어셋 크기를 줄이되, 클러스터링 정확도를 유지하거나 향상시킨다.
• 여러 클러스터링 모델과 데이터셋에서 제안된 방법의 우수성을 경험적으로 검증한다.

제안 방법

• 곱셈 오차와 덧셈 오차를 모두 지원하는 새로운 코어셋 정의—경량 코어셋—을 제안한다.
• k-평균, 브레그만 클러스터링, 그리고 가우시안 혼합 모델의 최대우도 추정에 적용 가능한 단일 통합 알고리즘을 개발한다.
• 새로운 코어셋 정의 하에서 오차 경계를 충족시키기 위해 적응형 가중치를 사용하는 샘플링 기반 접근법을 활용한다.
• 코어셋을 구성하는 데 있어 매우 간단한 병렬 처리가 가능하도록 알고리즘을 설계하여, 여러 머신에서 효율적인 분산 구축을 가능하게 한다.
• 각 클러스터링 유형에 대해 유도된 이론적 경계를 활용해 샘플링 효율성과 오차 보장을 균형 잡는 방식으로 코어셋 크기를 최적화한다.
• 이론적 오차 분석을 구축 과정에 통합하여 전체 데이터 모델과의 증명 가능 경쟁력을 확보한다.

실험 결과

연구 질문

• RQ1 클러스터링에서 곱셈 오차와 덧셈 오차 보장을 모두 지원하는 코어셋 정의를 설계할 수 있는가?
• RQ2 다양한 클러스터링 모델에 대해 효율적으로 경량 코어셋을 생성할 수 있는 단일 통합 알고리즘을 구축할 수 있는가?
• RQ3 제안된 경량 코어셋 구축 방법의 성능은 기존 코어셋 방법에 비해 속도, 코어셋 크기, 클러스터링 정확도 측면에서 어떻게 비교되는가?
• RQ4 제안된 알고리즘이 분산 환경에서 얼마나 잘 스케일아웃되고 병렬 처리 가능한가?
• RQ5 실제로 덧셈 오차 항목을 포함함으로써 더 작고 정확도가 높은 코어셋을 얻을 수 있는가?

주요 결과

• 제안된 경량 코어셋 구축 방법은 평가된 모든 클러스터링 모델에서 기존 코어셋 방법에 비해 훨씬 더 빠른 런타임을 달성한다.
• 결과적으로 생성된 코어셋은 기존 방법이 생성한 것보다 일관되게 작고, 클러스터링 정확도를 유지하거나 향상시킨다.
• 알고리즘은 뛰어난 확장성을 보이며 매우 간단한 병렬 처리가 가능하여 효율적인 분산 배포가 가능하다.
• 광범위한 실험을 통해, 클러스터링 품질과 계산 효율성 측면에서 기존 코어셋 구축 방법을 뛰어넘는다.
• 곱셈 오차와 덧셈 오차에 대한 이론적 보장이 성공적으로 유지되어 더 큰 민감성과 강건한 근사 프레임워크를 제공한다.