[논문 리뷰] Federated clustering with GAN-based data synthesis

Jie Yan, Jing Liu외 2명|arXiv (Cornell University)|2022. 10. 29.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 개인 데이터를 공유하지 않고도 비밀 유지가 가능한 효과적인 전역 유사도 학습을 가능하게 하는 연합 클러스터링 프레임워크인 SDA-FC를 제안한다. 이 방법은 클라이언트 로컬 GAN을 사용해 합성 전역 데이터를 생성하며, 이를 통해 K-means나 FCM를 합성 전역 데이터셋에 적용함으로써 뛰어난 클러스터링 성능과 비대칭 데이터 분포(non-IID) 및 장치 장애에 대한 강건성을 확보한다. 이는 기존의 기준 기준선들보다 정확도와 내구성 면에서 뛰어나다.

ABSTRACT

Federated clustering (FC) is an extension of centralized clustering in federated settings. The key here is how to construct a global similarity measure without sharing private data, since the local similarity may be insufficient to group local data correctly and the similarity of samples across clients cannot be directly measured due to privacy constraints. Obviously, the most straightforward way to analyze FC is to employ the methods extended from centralized ones, such as K-means (KM) and fuzzy c-means (FCM). However, they are vulnerable to non independent-and-identically-distributed (non-IID) data among clients. To handle this, we propose a new federated clustering framework, named synthetic data aided federated clustering (SDA-FC). It trains generative adversarial network locally in each client and uploads the generated synthetic data to the server, where KM or FCM is performed on the synthetic data. The synthetic data can make the model immune to the non-IID problem and enable us to capture the global similarity characteristics more effectively without sharing private data. Comprehensive experiments reveals the advantages of SDA-FC, including superior performance in addressing the non-IID problem and the device failures.

연구 동기 및 목표

• 개인 클라이언트 데이터를 공유하지 않고도 연합 클러스터링에서 전역 유사도를 학습하는 데 도전하는 것.
• 클라이언트 간 비독립적이고 동일하지 않은 분포(non-IID) 조건에서도 클러스터링의 강건성과 성능을 향상시키는 것.
• 연합 클러스터링 시스템에서의 장치 장애에 대한 내구성을 향상시키는 것.
• 중앙 집중식 클러스터링의 대안으로 개인정보 보호를 유지하면서도 높은 클러스터링 품질을 유지하는 것.
• Kappa 지표를 NMI보다 더 신뢰할 수 있는 클러스터링 평가 지표로 평가하고 주장하는 것.

제안 방법

• 각 클라이언트는 자신의 개인 데이터를 기반으로 로컬 GAN을 훈련하여 합성 샘플을 생성한다.
• 서버는 모든 클라이언트로부터 온 합성 데이터를 집계하여 전역 합성 데이터셋을 구성한다.
• 전역 합성 데이터셋에 K-means 또는 퍼지 c-means를 적용하여 전역 클러스터 중심점을 계산한다.
• 이러한 전역 중심점은 클라이언트로 다시 전송되어 거리 기반으로 국소 클러스터 할당을 수행한다.
• 이 프레임워크는 단일 라운드 통신과 비동기 실행을 지원하여 오버헤드를 최소화한다.
• 이 방법은 다양한 비대칭 데이터 수준과 장치 장애 비율을 가진 여러 데이터셋(MNIST, Fashion-MNIST, CIFAR-10, STL-10)에서 평가된다.

실험 결과

연구 질문

• RQ1 개인 데이터를 공유하지 않고도 GAN 기반 합성 데이터가 연합 클러스터링에서 전역 데이터 분포를 효과적으로 근사할 수 있는가?
• RQ2 비대칭 데이터 조건 하에서 제안된 SDA-FC 프레임워크는 최신 기술 기준의 연합 클러스터링 방법보다 어떻게 성능을 내는가?
• RQ3 SDA-FC의 클러스터링 성능는 연합 시스템에서의 장치 장애에 대해 어느 정도 강건한가?
• RQ4 비대칭 수준이 클수록 클러스터링 성능가 장치 연결 끊김에 대한 민감도는 어떻게 변화하는가?
• RQ5 Kappa 지표는 클러스터링 결과 평가에 있어 NMI보다 더 신뢰할 수 있는가?

주요 결과

• SDA-FC는 모든 데이터셋에서 k-FED 및 FFCM과 같은 기존 방법들을 능가하는 클러스터링 성능를 보이며, 특히 높은 비대칭 수준에서 두드러진다.
• t-SNE 시각화와 분포 겹침을 통해 SDA-FC가 생성한 전역 합성 데이터셋이 실제 전역 데이터셋에 매우 가까이 근사하고 있음을 확인했다.
• SDA-FC는 장치 장애에 대해 뛰어난 강건성을 보이며, 기준 방법들보다 성능 저하가 덜 심각하다.
• 비대칭 수준이 높을수록(높은 p 값일수록) 클러스터링 성능가 장치 장애에 대한 민감도가 증가함을 확인했으며, 이는 높은 데이터 이질성은 데이터 대체 가능성을 낮춘다는 것을 의미한다.
• NMI 값이 일부 상황에서는 오해의 소지가 있음을 고려할 때, Kappa 지표가 클러스터링 결과 평가에 더 신뢰할 수 있다는 것이 확인되었다.
• 단일 라운드 집계와 비동기 실행을 지원함으로써 통신 오버헤드를 최소화하면서도 높은 성능를 달성했다.