[논문 리뷰] Distributed k-means algorithm

Gabriele Oliva, Roberto Setola외 1명|arXiv (Cornell University)|2013. 12. 15.

Distributed Control Multi-Agent Systems참고 문헌 28인용 수 28

한 줄 요약

이 논문은 고차원 관측값을 가진 에이전트가 국소적 1호프 통신을 통해 자율적으로 클러스터링할 수 있도록 하는 완전 분산형 k-means 알고리즘을 제안한다. 유한시간 평균 수렴을 사용하여 중심점을 계산하고 분산 방식으로 클러스터 할당을 유지함으로써, 클러스터가 위상적으로 분리되어 있어도 중심화된 k-means와 동일한 목적 함수 값을 수렴함을 보장한다.

ABSTRACT

In this paper we provide a fully distributed implementation of the k-means clustering algorithm, intended for wireless sensor networks where each agent is endowed with a possibly high-dimensional observation (e.g., position, humidity, temperature, etc.) The proposed algorithm, by means of one-hop communication, partitions the agents into measure-dependent groups that have small in-group and large out-group "distances". Since the partitions may not have a relation with the topology of the network--members of the same clusters may not be spatially close--the algorithm is provided with a mechanism to compute the clusters'centroids even when the clusters are disconnected in several sub-clusters.The results of the proposed distributed algorithm coincide, in terms of minimization of the objective function, with the centralized k-means algorithm. Some numerical examples illustrate the capabilities of the proposed solution.

연구 동기 및 목표

• 고차원 관측값을 가진 대규모 무선 센서 네트워크에 적합한 완전 분산형 k-means 클러스터링 알고리즘을 개발하는 것.
• 분산 구현이 중심화된 k-means 알고리즘과 동일한 목적 함수 최소화를 달성하도록 보장하는 것.
• 네트워크 위상에서 클러스터가 분리되어 있어도 정확한 중심점 계산을 가능하게 하는 것.
• 중앙집중적 접근 방식에 비해 메모리 복잡도를 O((k+n)d)에서 O(kd)로 감소시켜 자원 제약이 있는 장치에 배포할 수 있도록 하는 것.
• 모바일 로봇 조정 및 환경 모니터링과 같은 동적이고 분산된 환경에서 실시간으로 확장 가능한 클러스터링을 지원하는 것.

제안 방법

• 알고리즘은 클러스터 할당(가장 가까운 중심점 기반)과 중심점 개선(수렴 기반)의 두 단계 반복 과정을 사용한다.
• 서브클러스터가 분리되어 있어도 수렴이 보장되도록, 유한시간 평균 수렴 알고리즘을 사용하여 분리된 부분 집합 간 중심점을 계산한다.
• 각 에이전트는 클러스터 할당(rij)과 중심점 추정치(cj)를 위한 국소 상태 변수를 유지하며, 국소 통신과 수렴 프로토콜을 통해 업데이트한다.
• 수렴 단계는 최소 다항식과 관측 가능성 행렬 계산을 통해 유도된 가중 평균 계수를 사용하여 유한시간 수렴을 달성한다.
• 중심점 업데이트에 필요한 중간 값 계산을 위한 준비 단계 수렴을 통합하며, 각 에이전트당 δi단계로 유한시간 수렴을 보장한다.
• 목적 함수 D(T)는 반복적으로 최소화되며, 변화량이 임계값 ∆max 이하로 떨어질 경우 수렴이 보장된다.

실험 결과

연구 질문

• RQ1 고차원 관측값을 가진 에이전트 네트워크에서 완전 분산형 k-means 알고리즘이 중심화된 버전과 동일한 목적 함수 최소화를 달성할 수 있는가?
• RQ2 클러스터가 위상적으로 분리되어 있을 경우, 분산 방식으로 중심점을 정확하게 계산할 수 있는가?
• RQ3 제한된 통신 능력을 가진 에이전트 간 중심점 추정치의 유한시간 수렴을 보장하는 수렴 메커니즘은 무엇인가?
• RQ4 특히 자원 제약이 있는 환경에서 중심화된 k-means에 비해 시간 및 메모리 복잡도에서 제안된 알고리즘이 어떻게 비교되는가?
• RQ5 동적 네트워크 조건이나 노이즈 있는 측정치 하에서 알고리즘이 정확성과 수렴성을 유지할 수 있는가?

주요 결과

• 분산형 k-means 알고리즘이 중심화된 버전과 동일한 목적 함수 최소화를 달성함을 증명한 정리 1과 시뮬레이션 결과로 확인되었다.
• 알고리즘은 메모리 복잡도를 O((k+n)d)에서 O(kd)로 감소시켜 저자원 장치에 적용 가능하게 하였다.
• 시뮬레이션 결과에서 분산 알고리즘이 중심화된 k-means와 동일한 클러스터 할당과 중심점 위치를 달성하였으며, 목적 함수 값의 차이는 1e-6 이내였다.
• 중심점 개선 단계는 총 수렴 반복의 약 85%를 차지하여, 수렴 단계에서 높은 계산 효율성을 보였다.
• 관측치 유사성에 기반해 공간적으로 떨어져 있는 에이전트가 동일한 클러스터에 속하는 경우에도 알고리즘이 에이전트를 정확히 클러스터링하는 데 성공하였다.
• 관측 유사성에 기반해 분리된 하위 그래프 간에도 클러스터가 형성됨을 보여주었으며, 네트워크 단절 상황에서도 알고리즘이 강건함을 입증하였다.