[论文解读] Machine Unlearning of Federated Clusters

Chao Pan, Jin Sima+3 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了首个用于联邦聚类的机器遗忘框架（MUFC），通过一种新颖的稀疏压缩多重集聚合（SCMA）方案，实现了高效的、保护隐私的客户端数据移除，通信复杂度为对数级。该方法在保持优异聚类性能的同时，使遗忘速度比完整微调快84倍，尤其在聚类规模不平衡的情况下表现更优。

ABSTRACT

Federated clustering (FC) is an unsupervised learning problem that arises in a number of practical applications, including personalized recommender and healthcare systems. With the adoption of recent laws ensuring the "right to be forgotten", the problem of machine unlearning for FC methods has become of significant importance. We introduce, for the first time, the problem of machine unlearning for FC, and propose an efficient unlearning mechanism for a customized secure FC framework. Our FC framework utilizes special initialization procedures that we show are well-suited for unlearning. To protect client data privacy, we develop the secure compressed multiset aggregation (SCMA) framework that addresses sparse secure federated learning (FL) problems encountered during clustering as well as more general problems. To simultaneously facilitate low communication complexity and secret sharing protocols, we integrate Reed-Solomon encoding with special evaluation points into our SCMA pipeline, and prove that the client communication cost is logarithmic in the vector dimension. Additionally, to demonstrate the benefits of our unlearning mechanism over complete retraining, we provide a theoretical analysis for the unlearning performance of our approach. Simulation results show that the new FC framework exhibits superior clustering performance compared to previously reported FC baselines when the cluster sizes are highly imbalanced. Compared to completely retraining K-means++ locally and globally for each removal request, our unlearning procedure offers an average speed-up of roughly 84x across seven datasets. Our implementation for the proposed method is available at https://github.com/thupchnsky/mufc.

研究动机与目标

• 为应对GDPR和CCPA等隐私法规下联邦聚类中机器遗忘的关键需求。
• 设计一种安全、通信高效的联邦聚类系统，支持无需完整微调即可高效删除数据。
• 开发一种新颖的稀疏压缩多重集聚合（SCMA）协议，确保服务器仅能访问聚合后的聚类计数，而无法获取单个客户端的数据。
• 从理论上和实证上证明，MUFC中的遗忘过程显著快于完整微调。
• 提供基准数据集——包括癌症基因组学和肠道微生物组数据——以支持在真实世界生物医学应用中评估联邦遗忘。

提出的方法

• 提出一种一次性联邦K-means++聚类算法，实现全局聚类目标的阶最优近似。
• 引入SCMA，一种结合里德-所罗门编码与特殊选取的评估点的安全聚合框架，实现在向量维度上的对数通信成本。
• 利用秘密共享与压缩多重集聚合，确保服务器仅学习到客户端向量的总和，而非个体数据分布。
• 在FC框架中采用定制化的初始化过程，天然兼容高效遗忘。
• 将里德-所罗门编码与单位根处的评估点相结合，实现高效、安全且低复杂度的多重集聚合。
• 设计一种遗忘机制，仅更新受影响的客户端和服务器，避免每次数据删除请求后都进行完整微调。

实验结果

研究问题

• RQ1 能否使联邦聚类具备可遗忘性，以高效移除特定客户端数据的影响，而无需完整微调？
• RQ2 如何设计安全聚合机制，在保护客户端隐私的同时支持聚类中的高效遗忘？
• RQ3 与完整微调相比，联邦聚类系统的遗忘过程在理论和实证上的复杂度如何？
• RQ4 在高度不平衡的聚类规模下，所提方法的表现如何？这是现实世界中的常见挑战。
• RQ5 所提框架能否扩展以支持批量删除和对抗性删除场景？

主要发现

• 所提出的MUFC框架在七个基准数据集上，平均实现84倍的遗忘速度提升，相比完整微调。
• MUFC在聚类性能上优于现有基线方法（K-FED和DC-KM），在TMI数据集上损失比为1.05±0.01，接近集中式K-means++的性能。
• SCMA方案在向量维度上实现了对数通信复杂度，优于现有线性复杂度的稀疏安全聚合方法。
• 即使在高度不平衡的聚类规模下，该框架仍能保持强大的聚类性能，而以往方法在此情况下表现不佳。
• 遗忘过程在理论上被证明远低于重训的复杂度，且得到了一致的实证验证。
• 作者发布了新的基准数据集集合，包括TCGA的甲基化数据和肠道微生物组数据，以支持未来在联邦遗忘领域的研究。