[논문 리뷰] Communication-Optimal Distributed Clustering

Jiecao Chen, He Sun외 2명|arXiv (Cornell University)|2017. 02. 01.

Advanced Clustering Algorithms Research인용 수 20

한 줄 요약

이 논문은 메시지 전달(point-to-point) 및 블랙보드(broadcast) 모델에서 그래프 및 기하 클러스터링을 위한 통신 최적화 분산 클러스터링 알고리즘을 제안한다. 스펙트럴 스퍼스피케이션과 분산 고유값계산을 사용하여, 전자의 경우 Õ(ns), 블랙보드의 경우 Õ(n+s)에 가까운 최적의 통신 복잡도를 달성하며, 클러스터링 품질 손실를 최소화하면서도 실용적 효율성과 이론적 최적성 모두를 입증한다.

ABSTRACT

Clustering large datasets is a fundamental problem with a number of applications in machine learning. Data is often collected on different sites and clustering needs to be performed in a distributed manner with low communication. We would like the quality of the clustering in the distributed setting to match that in the centralized setting for which all the data resides on a single site. In this work, we study both graph and geometric clustering problems in two distributed models: (1) a point-to-point model, and (2) a model with a broadcast channel. We give protocols in both models which we show are nearly optimal by proving almost matching communication lower bounds. Our work highlights the surprising power of a broadcast channel for clustering problems; roughly speaking, to spectrally cluster $n$ points or $n$ vertices in a graph distributed across $s$ servers, for a worst-case partitioning the communication complexity in a point-to-point model is $n \cdot s$, while in the broadcast model it is $n + s$. A similar phenomenon holds for the geometric setting as well. We implement our algorithms and demonstrate this phenomenon on real life datasets, showing that our algorithms are also very efficient in practice.

연구 동기 및 목표

• 다양한 사이트에 분산된 대규모 데이터셋을 최소한의 통신으로 클러스터링하는 데 도전한다.
• 중앙집중식 클러스터링의 품질을 유지하면서도 통신 오버헤드를 최소화하는 분산 클러스터링 알고리즘을 개발한다.
• 메시지 전달 및 블랙보드(방송)라는 두 가지 다른 분산 모델에서 통신 복잡도를 분석하고 최적화한다.
• 특히 대규모 데이터에 대해 블랙보드 채널이 메시지 전달 모델보다 통신 비용을 크게 줄일 수 있음을 보여준다.
• 실세계 데이터셋을 대상으로 한 실험을 통해 이론적 한계를 검증하며, 높은 클러스터링 품질과 낮은 통신 비용을 동시에 확보한다.

제안 방법

• 각 사이트에서 로컬 데이터를 압축하기 위해 스펙트럴 스퍼스피케이션을 사용하여 통신 부담을 줄이고, 핵심 스펙트럴 성질을 유지한다.
• 메시지 전달 모델에서는 각 사이트가 자신의 로컬 데이터에 대한 스펙트럴 스퍼스피케이터를 조정자에게 전송하고, 조정자가 이를 융합하여 글로벌 스퍼스피케이터를 생성한다.
• 블랙보드 모델에서는 모든 사이트가 간선을 공동으로 샘플링하고, 고정된 반복 횟수로 이루어지는 체인 기반 샘플링 과정을 통해 공동으로 글로벌 스퍼스피케이터를 구축한다.
• 글로벌 스퍼스피케이션 라플라시안 행렬의 하위 k개 고유벡터에서 유도된 임bedded 포인트에 대해 k-means 클러스터링을 적용한다.
• 블랙보드 모델이 단일 메시지를 모든 사이트에 방송할 수 있는 능력을 활용하여 총 통신량을 O(ns)에서 O(n+s)로 줄인다.
• 블랙보드 모델에서 체인 기반 샘플링 전략을 사용하여 반복적으로 스퍼스피케이터를 정밀화하고, 고품질 근사치로 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 중앙집중식 방법과 비슷한 클러스터링 품질을 달성하면서도 통신을 최소화할 수 있는 분산 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 메시지 전달 통신과 비교할 때 블랙보드 채널의 존재가 분산 클러스터링의 통신 복잡도에 어떤 영향을 미치는가?
• RQ3 분산 스펙트럴 클러스터링에 대한 이론적 하한선 통신 비용은 무엇이며, 제안된 프로토콜이 이에 거의 근접하는가?
• RQ4 사이트 수와 샘플링 파라미터의 변화가 두 모델 모두에서 클러스터링 품질과 통신 비용에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘이 수십억 개 간선을 포함하는 실세계 데이터셋에서 실용적으로 효율적으로 확장 가능한가?

주요 결과

• 메시지 전달 모델은 통신 비용이 Õ(ns)이며 사이트 수 s에 따라 선형으로 증가하는 반면, 블랙보드 모델은 Õ(n+s)을 달성하여 s가 클 경우 극적으로 감소함을 보였다.
• 블랙보드 모델은 최악의 경우 통신 비용을 요소 s만큼 줄여주며, 분산 클러스터링에서 방송의 놀라운 강력함을 입증한다.
• 정규화 컷(ncut)으로 측정한 클러스터링 품질은 기준값, 메시지 전달, 블랙보드 알고리즘 간 거의 동일하며, ncut 값은 메시지 전달의 경우 s 증가에 따라 약간 감소하고 블랙보드의 경우 안정적으로 유지된다.
• 실험 결과, 메시지 전달과 블랙보드 모두 기준값 대비 통신 비용을 1~2개 주기수 줄였으며, 블랙보드는 s의 크기에 관계없이 낮은 비용을 유지했다.
• 블랙보드 알고리즘의 성능은 샘플링 파라미터 변화에 대해 강건하다: 각 사이트당 샘플링 간선 수나 반복 횟수를 늘리면 ncut 값이 향상되지만, 이는 일정 임계값 이상일 때만 유의미하다.
• 메시지 전달 모델의 경우, 각 사이트에서 최소 5n개의 간선을 샘플링해야 유효한 스퍼스피케이터를 확보할 수 있으며, c ≥ 3 및 s ≥ 1 조건에서 ncut 값은 기준 수준으로 수렴한다.