[논문 리뷰] A Practical Algorithm for Distributed Clustering and Outlier Detection

Jiecao Chen, Erfan Sadeqi Azer외 1명|arXiv (Cornell University)|2018. 05. 24.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 5

한 줄 요약

이 논문은 새로운 일회성 요약 구축 방식을 사용하여 분산 클러스터링과 이방치를 위한 실용적이고 통신 및 시간 효율적인 알고리즘을 제안한다. 이 알고리즘은 이론적 근사 보장을 확보하며, 실제 및 합성 데이터셋에서 클러스터링 품질, 이방치 탐지, 통신 비용, 실행 시간 면에서 기존 방법들을 능가한다.

ABSTRACT

We study the classic $k$-means/median clustering, which are fundamental problems in unsupervised learning, in the setting where data are partitioned across multiple sites, and where we are allowed to discard a small portion of the data by labeling them as outliers. We propose a simple approach based on constructing small summary for the original dataset. The proposed method is time and communication efficient, has good approximation guarantees, and can identify the global outliers effectively. To the best of our knowledge, this is the first practical algorithm with theoretical guarantees for distributed clustering with outliers. Our experiments on both real and synthetic data have demonstrated the clear superiority of our algorithm against all the baseline algorithms in almost all metrics.

연구 동기 및 목표

• 대규모이고 분할된 데이터셋에서 확장성 있고 효율적인 분산 클러스터링과 이방치 탐지를 위한 과제를 해결한다.
• 일회성 통신 모델에서 통신 및 계산 오버헤드를 최소화한다.
• 클러스터링 목표 및 이방치 식별에 대해 이론적 근사 보장을 확보한다.
• 분산 환경에서 높은 클러스터링 정확도를 유지하면서 글로벌 이방치를 효과적으로 탐지한다.
• 대규모 데이터셋에 스케일링 가능한 실용적 알고리즘을 설계하여 기존 방법들보다 실제 및 합성 벤치마크에서 뛰어난 성능을 발휘한다.

제안 방법

• 각 사이트에서 볼 성장 히우리즘을 사용해 잠재적 중심점과 이방치를 식별하는 가벼운 요약을 생성한다.
• 각 사이트가 단일 요약만을 코ordinatior에게 전송하는 일회성 통신 모델을 사용하여 통신 비용을 최소화한다.
• 병합된 요약을 기반으로 중심적 클러스터링 알고리즘을 적용하여 최종 클러스터 중심점과 이방치 레이블을 계산한다.
• 이론적 경계를 활용하여 악성 분할에 대해 요약 크기가 O(k log n + t)이고, 무작위 분할에 대해 O(k log n + t/s)가 되도록 보장한다.
• 고차원 데이터의 경우 효율성을 유지하기 위해 차원 축소(예: Johnson-Lindenstrauss 레미마)를 통합한다.
• 두 번째 단계 알고리즘이 문제를 γ-근사로 해결할 경우, 최종 해가 최적의 (k,t)-메운즈/메디안 목표 함수에 대해 O(γ)-근사가 되도록 보장한다.

실험 결과

연구 질문

• RQ1 이방치가 있는 (k,t)-메운즈/메디안 문제에 대해 이론적 보장이 있는 실용적인 분산 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 일회성 분산 환경에서 클러스터링 품질을 유지하면서 통신 및 계산 비용을 어떻게 최소화할 수 있는가?
• RQ3 이 알고리즘이 분산된 데이터 파artitions 간에 글로벌 이방치를 얼마나 효과적으로 탐지할 수 있는가?
• RQ4 기존 방법들과 비교해 볼 때, 제안된 요약 구축 방식은 확장성, 정확도, 효율성 면에서 어떤가?
• RQ5 실제 데이터셋에 실용적으로 적용 가능하면서도 강력한 이론적 근사 보장을 유지할 수 있는가?

주요 결과

• 제안된 볼그로우 알고리즘은 클러스터링 손실, 정밀도, 재현율, 이방치 탐지 품질 등 모든 지표에서 최고의 성능을 기록한다.
• 볼그로우, k-means++, rand의 통신 비용은 사이트 수에 거의 영향을 받지 않지만, k-means‖는 20개의 사이트에서 다중 라운드 통신으로 인해 통신 비용이 약 20배 높아진다.
• 볼그로우는 평균적으로 k-means‖보다 25배 빠르고, k-means++보다 7배 빠르며, 실행 시간은 요약 크기와 선형적으로 증가한다.
• 반복 실험에서 높은 안정성을 유지하며, 표준편차가 낮다(예: 볼그로우의 ℓ₁-손실 표준편차는 1.1E4).
• k-means‖와 k-means++는 rand보다 이방치 탐지에서 뛰어나지만, 볼그로우는 정밀도와 재현율 면에서 모든 기준선을 크게 앞서간다.
• 두 번째 단계 클러스터링 알고리즘이 γ-근사일 경우, 알고리즘이 최적 해에 대해 O(γ)-근사가 되며, 강력한 이론적 보장을 제공한다.