[论文解读] Federated clustering with GAN-based data synthesis

Jie Yan, Jing Liu+2 more|arXiv (Cornell University)|Oct 29, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 SDA-FC，一种联邦聚类框架，通过使用客户端本地 GAN 生成合成全局数据，实现在不共享私有数据的前提下进行有效的全局相似性学习。该方法通过在合成全局数据集上训练 K-means 或 FCM，实现了卓越的聚类性能和对非独立同分布（non-IID）数据及设备故障的鲁棒性，其在准确率和鲁棒性方面均优于现有基线方法。

ABSTRACT

Federated clustering (FC) is an extension of centralized clustering in federated settings. The key here is how to construct a global similarity measure without sharing private data, since the local similarity may be insufficient to group local data correctly and the similarity of samples across clients cannot be directly measured due to privacy constraints. Obviously, the most straightforward way to analyze FC is to employ the methods extended from centralized ones, such as K-means (KM) and fuzzy c-means (FCM). However, they are vulnerable to non independent-and-identically-distributed (non-IID) data among clients. To handle this, we propose a new federated clustering framework, named synthetic data aided federated clustering (SDA-FC). It trains generative adversarial network locally in each client and uploads the generated synthetic data to the server, where KM or FCM is performed on the synthetic data. The synthetic data can make the model immune to the non-IID problem and enable us to capture the global similarity characteristics more effectively without sharing private data. Comprehensive experiments reveals the advantages of SDA-FC, including superior performance in addressing the non-IID problem and the device failures.

研究动机与目标

• 解决在联邦聚类中学习全局相似性而不共享客户端私有数据的挑战。
• 在客户端数据分布非独立同分布（non-IID）的条件下，提升聚类的鲁棒性和性能。
• 增强联邦聚类系统对设备故障的韧性。
• 为集中式聚类提供一种隐私保护的替代方案，同时保持高聚类质量。
• 评估并倡导使用 Kappa 指标作为 NMI 的更可靠替代指标，用于聚类评估。

提出的方法

• 每个客户端在其私有数据上训练一个本地 GAN，以生成合成样本。
• 服务器聚合所有客户端的合成数据，构建全局合成数据集。
• 在全局合成数据集上应用 K-means 或模糊 C-均值（FCM）以计算全局聚类中心。
• 将这些全局聚类中心发送回客户端，供其基于距离进行本地聚类分配。
• 该框架支持单轮通信和异步执行，最大限度减少开销。
• 在多种数据集（MNIST、Fashion-MNIST、CIFAR-10、STL-10）上，针对不同非 IID 水平和设备故障率进行了评估。

实验结果

研究问题

• RQ1 基于 GAN 的合成数据是否能在不共享私有数据的前提下，有效近似联邦聚类中的全局数据分布？
• RQ2 在非 IID 数据条件下，所提出的 SDA-FC 框架相较于最先进联邦聚类方法的表现如何？
• RQ3 SDA-FC 的聚类性能在联邦系统中对设备故障的鲁棒性如何？
• RQ4 非 IID 程度如何影响聚类性能对设备断连的敏感性？
• RQ5 Kappa 指标是否比 NMI 更可靠，可用于评估联邦聚类结果？

主要发现

• SDA-FC 在所有数据集上均优于现有方法（包括 k-FED 和 FFCM），尤其在高非 IID 水平下表现更优。
• 通过 t-SNE 可视化和分布重叠分析，证实 SDA-FC 生成的全局合成数据集与真实全局数据集高度接近。
• SDA-FC 展现出对设备故障的优越鲁棒性，性能下降程度低于基线方法。
• 聚类性能对设备故障的敏感性随非 IID 程度提高而增强（p 值越高），表明更高的数据异质性会降低数据的可替代性。
• Kappa 指标被证明比 NMI 更可靠，因为 NMI 在某些场景下可能具有误导性。
• 该框架在极低通信开销下实现高性能，仅需一轮聚合通信，并支持异步执行。