[논문 리뷰] Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)

Morris Stallmann, Anna Wilbik|arXiv (Cornell University)|2022. 01. 18.

Human Mobility and Location-Based AnalysisSocial Sciences인용 수 19

한 줄 요약

이 논문은 데이터 프라이버시를 유지하면서 분산된 클라이언트 간에 데이터를 클러스터링할 수 있는 연합 퍼지 c-중심(FFCM) 알고리즘을 제안한다. 두 가지 집계 방법—연합 평균과 k-means 평균—을 도입하여, 비독립 동일 분포(non-i.i.d.) 조건에서 표준 평균보다 더 정확한 글로벌 클러스터 중심을 식별하는 데서 뛰어난 성능을 보이며, 이는 높은 계산 비용을 수반한다.

ABSTRACT

Federated Learning (FL) is a setting where multiple parties with distributed data collaborate in training a joint Machine Learning (ML) model while keeping all data local at the parties. Federated clustering is an area of research within FL that is concerned with grouping together data that is globally similar while keeping all data local. We describe how this area of research can be of interest in itself, or how it helps addressing issues like non-independently-identically-distributed (i.i.d.) data in supervised FL frameworks. The focus of this work, however, is an extension of the federated fuzzy $c$-means algorithm to the FL setting (FFCM) as a contribution towards federated clustering. We propose two methods to calculate global cluster centers and evaluate their behaviour through challenging numerical experiments. We observe that one of the methods is able to identify good global clusters even in challenging scenarios, but also acknowledge that many challenges remain open.

연구 동기 및 목표

• 분산된 클라이언트 간에 글로벌적으로 유사한 데이터를 클러스터링하면서도 데이터 프라이버시를 유지하는 데 도전하는 데 목적이 있다.
• 퍼지 c-중심 클러스터링 알고리즘을 연합 학습(FL) 환경으로 확장하여, 데이터를 중앙집중화하지 않고도 비지도 학습을 가능하게 한다.
• 연합 환경에서 글로벌 클러스터 중심을 계산하기 위해 두 가지 집계 전략—연합 평균과 k-means 평균—을 평가하고 비교하는 것.
• 다양한 차원 수와 클러스터 겹침을 가진 합성 비독립 동일 분포 데이터셋에서 제안된 FFCM 프레임워크의 성능을 평가하는 것.
• 클러스터 수 추정 및 초기화와 같은 연합 클러스터링 분야의 열린 과제를 규명하고, 이 분야에 대한 향후 연구를 촉진하는 것.

제안 방법

• FFCM 프로토콜은 표준 FL 파이프라인을 따르며, 클라이언트 선택, 모델 브로드캐스트, 로컬 계산, 집계, 모델 업데이트 순서를 따른다.
• 각 클라이언트는 자신의 비공개 데이터에 대해 로컬 퍼지 c-중심 클러스터링을 수행하여 로컬 클러스터 중심과 소속도를 산출한다.
• 두 가지 집계 방법이 제안되었으며, (1) 표준 연합 평균(avg₁)과 (2) k-means 평균(avg₂)이다. 여기서 글로벌 중심은 로컬 중심에 대해 k-means를 적용하여 산출된다.
• k-means 평균 방법은 로컬 클러스터 중심을 데이터 포인트로 간주하고 재클러스터링하여 더 견고한 글로벌 중심을 도출한다.
• 알고리즘은 수렴할 때까지 반복적으로 적용되며, 각 라운드에서 글로벌 모델 업데이트가 클라이언트 간에 공유된다.
• 성능 평가에는 합성 G2 벤치마크 데이터셋(다양한 차원 수와 표준편차)을 사용한 지식 갭과 외부 제곱합 오차(SSE) 지표가 사용되었다.

실험 결과

연구 질문

• RQ1 데이터를 중앙집중화하지 않고도 연합 퍼지 c-중심 알고리즘이 효과적으로 글로벌 클러스터 중심을 식별할 수 있는가?
• RQ2 다른 집계 전략—연합 평균 대비 k-means 평균—은 비독립 동일 분포 조건에서 글로벌 클러스터링 정확도에 어떤 영향을 미치는가?
• RQ3 데이터 차원 수와 클러스터 겹침이 증가함에 따라 FFCM의 성능이 얼마나 떨어지는가?
• RQ4 비연합 퍼지 c-중심 알고리즘과 비교했을 때, 연합 FFCM의 클러스터 중심 복구 및 지식 갭 측면에서 성능은 어떠한가?
• RQ5 클러스터 수 추정 및 초기화와 같은 연합 클러스터링 분야의 핵심 열린 과제는 무엇이며, 이를 해결하지 못한 채 남아 있는가?

주요 결과

• k-means 평균 방법(avg₂)은 특히 높은 겹침과 고차원 상황에서 정확한 글로벌 클러스터 중심을 식별하는 데 표준 연합 평균(avg₁)보다 끊임없이 뛰어난 성능을 보였다.
• avg₂의 지식 갭은 75% 백분위수에서 30.38이었고, avg₁은 30.33였으며, 이는 진정한 클러스터 구조 탐지에서 유사하거나 略적으로 더 나은 성능을 의미한다.
• 모든 테스트 세트에서 연합 및 비연합 퍼지 c-중심 알고리즘이 유사한 클러스터 중심 수렴을 달성하여, 연합 접근 방식의 타당성을 확인했다.
• 표준편차가 증가함에 따라(클러스터 겹침 증가) 및 차원 수가 증가함에 따라 성능 저하가 관찰되었으며, 이는 지식 갭 상승과 SSE 기반 분리도 감소로 나타났다.
• 최대 지식 갭은 비연합 기준 99.80, avg₁ 기준 99.24, avg₂ 기준 95.55였으며, 이는 avg₂가 극단적인 경우 오차를 감소시킴을 시사한다.
• 강력한 실험적 결과에도 불구하고, 이 방법은 클러스터 수가 사전에 알려져 있음을 전제로 하며, 퍼지성 파라미터 m의 체계적 평가가 이루어지지 않았다.