[논문 리뷰] Distributed $k$-Clustering for Data with Heavy Noise

Shi Li, Xiangyu Guo|arXiv (Cornell University)|2018. 10. 01.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 고립점이 있는 $k$-센터, 메디안, 메인즈 문제를 위한 분산 $(k, z)$-클러스터링 알고리즘을 제안하며, $O(1)$-근사 비율과 $z$-독립적인 통신 비용을 유지하면서 최적의 $(1+\epsilon)z$개의 고립점을 달성한다. 기존 작업 대비 추가 고립점 수를 $2z$에서 $(1+\epsilon)z$로 줄여 솔루션 품질과 통신 효율성을 크게 향상시킨다.

ABSTRACT

In this paper, we consider the $k$-center/median/means clustering with outliers problems (or the $(k, z)$-center/median/means problems) in the distributed setting. Most previous distributed algorithms have their communication costs linearly depending on $z$, the number of outliers. Recently Guha et al.[10] overcame this dependence issue by considering bi-criteria approximation algorithms that output solutions with $2z$ outliers. For the case where $z$ is large, the extra $z$ outliers discarded by the algorithms might be too large, considering that the data gathering process might be costly. In this paper, we improve the number of outliers to the best possible $(1+\epsilon)z$, while maintaining the $O(1)$-approximation ratio and independence of communication cost on $z$. The problems we consider include the $(k, z)$-center problem, and $(k, z)$-median/means problems in Euclidean metrics. Implementation of the our algorithm for $(k, z)$-center shows that it outperforms many previous algorithms, both in terms of the communication cost and quality of the output solution.

연구 동기 및 목표

• 특히 $z$가 클 경우 높은 통신 비용을 겪는 분산 $k$-클러스터링에서의 고립점 처리 문제를 해결하기 위해.
• 원하는 $z$개의 고립점 외 추가 고립점 수를 줄여 데이터 집약적 환경에서 솔루션 품질을 향상시키기 위해.
• $z$에 독립적인 통신 비용을 유지하면서 $O(1)$-근사 비율을 달성하기 위해.
• 기존 방법보다 통신 비용과 솔루션 품질 면에서 뛰어난 실용적인 알고리즘 설계를 위해.

제안 방법

• 추가 고립점 수를 $(1+\epsilon)z$로 제어하는 이중 기준 근사 프레임워크를 도입하여 과도한 고립점 제거를 최소화한다.
• 지역 데이터를 집계하고 유한한 근사 비율을 갖는 코어 클러스터를 계산하는 분산 클러스터링 전략을 활용한다.
• 통신 효율적인 방식으로 클러스터 중심과 고립점을 추정하기 위해 샘플링 기반 접근법을 사용한다.
• $(1+\epsilon)z$개의 고립점만 제거되도록 정교한 고립점 선택 메커니즘을 적용하여 솔루션의 정확도를 향상시킨다.
• $z$에 선형 의존성이 없도록 하는 통신 프로토콜을 설계하여 대규모 분산 시스템에서의 확장성을 확보한다.
• 실증 평가를 통해 검증된 $(k,z)$-센터 문제를 위한 실용적 변종을 구현한다.

실험 결과

연구 질문

• RQ1 분산 $k$-클러스터링에서 고립점이 있는 상황에서 추가 고립점 수를 $2z$에서 $(1+\epsilon)z$로 줄일 수 있을까? 이때 근사 비율은 일정하게 유지될 수 있을까?
• RQ2 $(k,z)$-센터/메디안/메인즈 문제에 대해 $z$에 독립적인 통신 비용을 갖는 분산 알고리즘을 설계할 수 있을까?
• RQ3 제안된 알고리즘이 기존 방법 대비 통신 비용과 솔루션 품질 면에서 어떻게 비교되는가?
• RQ4 고립점이 많은 대규모 데이터 환경에서 이 알고리즘이 효율적으로 구현되고 확장 가능한가?

주요 결과

• 제안된 알고리즘은 최적의 $(1+\epsilon)z$개의 고립점을 달성하여 기존 $2z$-기반 방법 대비 추가 고립점 수를 크게 줄였다.
• 유클리드 거리에서 $(k,z)$-센터 문제와 $(k,z)$-메디안/메인즈 문제 모두에 대해 $O(1)$-근사 비율을 유지한다.
• 통신 비용은 $z$에 영향을 받지 않아 고고립점 환경에서도 확장성이 보장된다.
• 실증 평가 결과, 기존 알고리즘 대비 통신 비용과 솔루션 품질 면에서 뛰어난 성능을 보였다.
• 고립점이 많은 분산 데이터에서 $(k,z)$-센터 문제를 위한 구현은 실용적 효율성과 강건성을 입증했다.