[논문 리뷰] Distributed Gradient Clustering: Convergence and the Effect of Initialization

Aleksandar Armacki, Himkant Sharma외 4명|arXiv (Cornell University)|2026. 03. 20.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 피어-투-피어 네트워크에서 분산 그래디언트 기반 클러스터링(DGC- Fρ)에 대한 센터 초기화의 영향을 연구하고, 초기화에 대한 취약점이 중앙집중식 그래디언트 클러스터링과의 차이를 보이며, 성능 향상을 위한 분산 K-means++ 기반 초기화(DKM+C)를 제안합니다.

ABSTRACT

We study the effects of center initialization on the performance of a family of distributed gradient-based clustering algorithms introduced in [1], that work over connected networks of users. In the considered scenario, each user contains a local dataset and communicates only with its immediate neighbours, with the aim of finding a global clustering of the joint data. We perform extensive numerical experiments, evaluating the effects of center initialization on the performance of our family of methods, demonstrating that our methods are more resilient to the effects of initialization, compared to centralized gradient clustering [2]. Next, inspired by the $K$-means++ initialization [3], we propose a novel distributed center initialization scheme, which is shown to improve the performance of our methods, compared to the baseline random initialization.

연구 동기 및 목표

• 연결된 그래프상에서 로컬 데이터세트와 이웃 간의 통신을 바탕으로 분산 중심 기반 클러스터링의 성능에 미치는 센터 초기화의 영향을 평가한다.
• 분산 네트워크에서 DGC- Fρ의 초기화 민감성을 중앙집중식 그래디언트 클러스터링(CG C)과 비교한다.
• 클러스터 결과를 개선하기 위해 K-means++에서 영감을 얻은 분산 초기화 방식의 제안 및 평가를 수행한다.
• 다중 라운드 이웃 통신을 활용하는 실용적인 분산 초기화 프로토콜(DKM+C)을 개발하고 테스트한다.

제안 방법

• 로컬 데이터세트와 이웃 간의 통신을 포함하는 연결 그래프 위의 분산 중심 기반 클러스터링을 공식화한다.
• 이웃 간의 중심 간 불일치를 패널링하고 로컬 손실 항을 포함하는 완화된 최적화(Jρ)를 채택한다.
• 합의 업데이트와 로컬 데이터에 대한 그래디언트 단계를 결합한 DGC- Fρ 반복을 설명한다.
• L 라운드의 이웃 정보를 활용한 K-means++를 포함하고 로컬 클러스터링으로 이어지는 DKM+C 초기화 방식을 제안한다.
• 동질적 및 이질적 분포를 가진 아이리스 데이터에 대해 무작위 초기화와 K-means++ 초기화를 비교하고 견고성을 평가한다.
• 초기화 시 통신 라운드 수의 영향 분석 및 무작위 초기화 대비 개선을 입증한다.

실험 결과

연구 질문

• RQ1 분산 그래디언트 클러스터링(DGC- Fρ)에서 센터 초기화가 수렴 및 최종 클러스터링 품질에 어떤 영향을 미치는가?
• RQ2 DGC- Fρ가 CGC보다 분산 네트워크에서 초기화에 더 강건한가?
• RQ3 DKM+C가 DGC- Fρ에서 무작위 초기화보다 성능을 향상시킬 수 있는가?
• RQ4 제한된 이웃 통신 라운드가 초기화 품질과 클러스터링 결과에 어떤 영향을 미치는가?
• RQ5 로컬 K-means++를 이웃 정보와 결합하면 데이터 이질성에 대한 민감도를 줄일 수 있는가?

주요 결과

• DGC- Fρ는 Iris 데이터를 분할할 때 CGC보다 초기화에 덜 민감한 경향을 보인다.
• 로컬 K-means++ 초기화가 이질적 데이터 분포에서도 DGC- KM 성능을 향상시킨다.
• 다중 이웃 통신 라운드가 포함된 분산 K-means++ 기반의 초기화(DKM+C)는 무작위 초기화보다 더 나은 최종 정확도를 제공한다.
• DKM+C의 이웃 통신 라운드 수를 늘리면 동질적/이질적 환경 모두에서 초기화 품질이 더욱 향상된다.
• 이론적 결과는 mild한 가정 하에서 DGC- Fρ 중심이 고정점으로 수렴하고 유한시간 군집 수렴을 보장한다.
• 실험은 다중 로컬 초기화와 합의 역학으로 인해 분산 방식의 초기화에 실용적인 견고성을 보여준다.