[논문 리뷰] Distributed k-Means and k-Median Clustering on General Topologies

Maria Florina Balcan, Steven Ehrlich외 1명|arXiv (Cornell University)|2013. 06. 03.

Complex Network Analysis Techniques참고 문헌 21인용 수 61

한 줄 요약

이 논문은 일반적인 네트워크 토폴로지에서 낮은 통신 비용으로 글로벌 $\epsilon$-코어셋을 구성하는 분산 $k$-means 및 $k$-미디안 클러스터링 알고리즘을 제안한다. 각 노드가 자신의 로컬 데이터와 로컬 클러스터링의 근사 비용만을 사용하여 로컬 코어셋을 계산함으로써, 이전의 코어셋 기반 접근 방식에 비해 통신 복잡도를 $n$ 배 줄이며, 최소한의 조율으로도 증명 가능한 근사 보장을 달성한다.

ABSTRACT

This paper provides new algorithms for distributed clustering for two popular center-based objectives, k-median and k-means. These algorithms have provable guarantees and improve communication complexity over existing approaches. Following a classic approach in clustering by \cite{har2004coresets}, we reduce the problem of finding a clustering with low cost to the problem of finding a coreset of small size. We provide a distributed method for constructing a global coreset which improves over the previous methods by reducing the communication complexity, and which works over general communication topologies. Experimental results on large scale data sets show that this approach outperforms other coreset-based distributed clustering algorithms.

연구 동기 및 목표

• 중앙 코ordinatior가 필요하지 않은 일반적인 네트워크 토폴로지에서 확장 가능하고 통신 비용이 낮은 분산 클러스터링을 해결하기 위해.
• 클러스터링 품질에 대한 강력한 이론적 보장을 유지하면서 분산 클러스터링의 통신 오버헤드를 줄이기 위해.
• 나무 기반 코어셋 병합에서 발생하는 높은 비용을 피하기 위해 임의의 연결 그래프에서 효율적으로 확장 가능한 코어셋 구성 방법을 설계하기 위해.
• 대규모 데이터셋에서 기존의 코어셋 기반 알고리즘에 비해 통신 효율성과 클러스터링 비용 측면에서 뛰어나게 성능을 향상시키기 위해.

제안 방법

• 각 노드가 자신의 데이터에 대해 로컬 근사 해를 계산하고, 로컬 데이터와 로컬 클러스터링의 총 비용만을 사용하여 글로벌 코어셋의 로컬 부분을 구성한다.
• 알고리즘은 각 노드당 단일 스칼라 값(로컬 비용)만을 전송하면 되는 분산 코어셋 구성에 의존하여 통신을 최소화한다.
• 메시지 전달 프레임워크를 사용하여 네트워크 전역에서 로컬 코어셋 부분을 집계함으로써, 일반적인 연결된 토폴로지에서 효율적인 코어셋 공유를 가능하게 한다.
• 작은 수의 가중치가 부여된 점들이 임의의 중심 집합에서 전체 데이터 세트의 비용을 근사할 수 있다는 아이디어에 기반하여, 코어셋에서의 근사 해가 원본 데이터에 대해서도 근사적이게 된다.
• $d$차원 유클리드 공간에서의 $k$-미디안 및 $k$-means의 경우 글로벌 코어셋 크기는 $\tilde{O}(kd + nk)$이며, $n$이 클 경우 다른 방법에 비해 상당히 작다.
• 총 점의 수의 로그로 $d$를 대체함으로써 일반적인 거리 공간으로 일반화되며, 이론적 보장이 유지된다.

실험 결과

연구 질문

• RQ1 임의의 네트워크 토폴로지에서 통신 비용이 낮고 증명 가능한 근사 보장을 갖는 분산 $k$-미디안/$k$-means 알고리즘이 가능할 수 있는가?
• RQ2 나무 기반 코어셋 병합에서 발생하는 통신 과잉을 피하기 위해 코어셋 구성은 어떻게 분산시킬 수 있는가?
• RQ3 중앙 집중식 또는 나무 기반 토폴로지가 아닌 임의의 그래프로 연결된 노드들 간에 글로벌 코어셋을 구성할 때의 통신 복잡도는 어떻게 되는가?
• RQ4 실제로 제안된 방법이 기존의 코어셋 기반 알고리즘에 비해 어느 정도 뛰어나게 성능을 발휘하는가, 특히 통신 비용과 클러스터링 품질 측면에서.

주요 결과

• 일반적인 그래프에서 이전의 코어셋 기반 방법에 비해 통신 비용을 $n$ 배 줄였으며, 큰 중간 코어셋을 전송할 필요가 없기 때문이다.
• 고정된 통신 예산 하에서, 알고리즘은 COMBINE 알고리즘 대비 클러스터링 비용을 2%~5% 향상시키며, 동일한 근사 비율에 도달하기 위해 통신량을 10%~20% 절감한다.
• 스패닝 트리에서, 더 작은 코어셋 크기와 누적 오차 감소 덕분에 알고리즘은 Zhang 등에 의한 방법보다 약 20% 더 낮은 클러스터링 비용을 기록한다.
• 유클리드 공간에서 $d$차원의 $k$-미디안 및 $k$-means에 대해 글로벌 코어셋 크기는 $\tilde{O}(kd + nk)$이며, 이는 로그 인자 외에는 최적이다.
• 일반적인 거리 공간에서도 $k$-미디안 및 $k$-means 목표 모두에 대해 증명 가능한 $(1+\epsilon)$-근사 보장을 유지한다.
• 대규모 데이터셋에 대한 실험 결과는 알고리즘이 기존의 코어셋 기반 분산 클러스터링 방법에 비해 통신 효율성과 해 품질 측면에서 모두 뛰어나다는 것을 확인한다.