[논문 리뷰] Clustering with Distributed Data

Soummya Kar, Brian Swenson|arXiv (Cornell University)|2019. 01. 01.

Advanced Clustering Algorithms Research참고 문헌 70인용 수 7

한 줄 요약

이 논문은 데이터가 여러 에이전트에 분산 저장된 네트워크 시스템을 대상으로 하는 분산 K-means 군집화 알고리즘인 NK-means를 제안한다. 이 알고리즘은 저차원 통계 자료를 기반으로 국소적 이웃 간 소통을 통해 반복적으로 군집 중심을 갱신하며, 매개변수 ρ가 증가함에 따라 전역 Lloyd의 최소값에 임의로 가까운 근사값으로 수렴함을 증명한다. 이는 원시 데이터를 공유하지 않으면서도 고정밀도 군집화를 보장한다.

ABSTRACT

We consider $K$-means clustering in networked environments (e.g., internet of things (IoT) and sensor networks) where data is inherently distributed across nodes and processing power at each node may be limited. We consider a clustering algorithm referred to as networked $K$-means, or $NK$-means, which relies only on local neighborhood information exchange. Information exchange is limited to low-dimensional statistics and not raw data at the agents. The proposed approach develops a parametric family of multi-agent clustering objectives (parameterized by $ρ$) and associated distributed $NK$-means algorithms (also parameterized by $ρ$). The $NK$-means algorithm with parameter $ρ$ converges to a set of fixed points relative to the associated multi-agent objective (designated as `generalized minima'). By appropriate choice of $ρ$, the set of generalized minima may be brought arbitrarily close to the set of Lloyd's minima. Thus, the $NK$-means algorithm may be used to compute Lloyd's minima of the collective dataset up to arbitrary accuracy.

연구 동기 및 목표

• IoT, 센서 네트워크, 차량 네트워크와 같은 자원 제약이 있는 분산 환경에서 K-means 군집화를 수행하는 데 도전하는 문제를 해결한다.
• 원시 데이터를 전송함으로써 발생하는 높은 통신 오버헤드, 지연, 프라이버시 위험을 포함한 중앙집중형 클라우드 기반 군집화의 한계를 극복한다.
• 에이전트들이 오직 국소 계산과 저차원 통신만을 사용하여 공동으로 전역 K-means 해를 계산할 수 있는 탈중앙화 알고리즘을 개발한다.
• ρ 매개변수를 통해 알고리즘을 파arameter화하여 진정한 Lloyd의 최소값에 가까운 근사해로 수렴함으로써 근사 최적의 군집화를 보장한다.
• 원시 데이터 교환을 피하고 국소 통계와 이웃 간 소통에 의존함으로써 프라이버시와 확장성을 유지한다.

제안 방법

• ρ로 파arameter화된 다중 에이전트 군집화 목표 함수의 가중족을 제안하여 중심화된 K-means 목표 함수를 일반화한다.
• 각 에이전트가 국소 군집 중심을 유지하고, 이웃의 메시지와 오직 국소 데이터만을 사용하여 이를 갱신하는 방식으로 분산적으로 작동하는 NK-means 알고리즘을 설계한다.
• 원시 데이터 포인트의 전송을 피하기 위해 저차원 통계 자료(예: 국소 군집 중심과 데이터 수)에 국한된 정보 교환을 제한한다.
• 지역적 및 전역 군집화 목표 함수 간의 트레이드오프를 제어할 수 있도록 정규화 매개변수 ρ를 도입한다. 이를 통해 일반화된 최소값으로의 수렴을 가능하게 한다.
• 에이전트들이 이웃 정보의 가중 평균을 통해 반복적으로 군집 중심 추정치를 개선하는 공감 기반 업데이트 규칙을 사용한다.
• 알고리즘이 ρ로 파arameter화된 목표 함수의 고정점(일반화된 최소값)으로 수렴함을 증명하며, ρ가 증가함에 따라 정확도에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 공유하지 않으면서도 전역 Lloyd의 최소값에 임의로 가까운 해로 수렴하는 분산 K-means 알고리즘을 설계할 수 있는가?
• RQ2 대규모 탈중앙화 네트워크에서 국소적 소통과 계산을 어떻게 활용하여 정확한 군집화를 달성할 수 있는가?
• RQ3 매개변수 ρ는 지역적 및 전역 군집화 목표 함수 간의 균형을 어떻게 조절하고 고품질 해로의 수렴을 보장하는가?
• RQ4 제안된 알고리즘은 프라이버시를 유지하면서도 통신 오버헤드를 줄이고 군집화 정확도를 유지할 수 있는가?
• RQ5 분산 NK-means 알고리즘이 고정점으로 수렴하는 조건은 무엇이며, 그 고정점은 최적 해와 얼마나 가까운가?

주요 결과

• NK-means 알고리즘은 ρ로 파arameter화된 분산 목표 함수의 고정점(일반화된 최소값)으로 수렴한다.
• ρ가 증가함에 따라 일반화된 최소값의 집합은 중심화된 K-means 목표 함수의 전역 Lloyd의 최소값 집합으로 균일하게 수렴한다.
• 모든 ε > 0에 대해, 모든 에이전트의 군집 중심 추정치가 진정한 Lloyd의 최소값으로부터 ε 이내에 있는 유한한 ρε가 존재한다.
• 데이터 분포, 통신 그래프의 연결성, 데이터 및 군집 중심의 유계성에 대한 표준 가정 하에 수렴이 보장된다.
• 알고리즘은 원시 데이터 대신 저차원 통계 자료(예: 군집 중심과 수)만을 교환함으로써 프라이버시를 보장한다.
• 이론적 분석을 통해 매개변수 조정을 통해 전역 K-means 해를 임의로 높은 정확도로 근사할 수 있음을 확인한다.