[论文解读] A Survey on Federated Unlearning: Challenges, Methods, and Future Directions

Ziyao Liu, Yu Jiang+5 more|arXiv (Cornell University)|Oct 31, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本综述对联邦遗忘（Federated Unlearning, FU）进行了全面分析，概述了其核心挑战——模型一致性、遗忘效率、隐私保护以及认证删除——同时评估了现有方法、优化策略及未来研究方向。该综述提出了一套统一的FU工作流程与分类体系，强调密码学验证、客户端动态感知以及特定领域应用。

ABSTRACT

In recent years, the notion of ``the right to be forgotten" (RTBF) has become a crucial aspect of data privacy for digital trust and AI safety, requiring the provision of mechanisms that support the removal of personal data of individuals upon their requests. Consequently, machine unlearning (MU) has gained considerable attention which allows an ML model to selectively eliminate identifiable information. Evolving from MU, federated unlearning (FU) has emerged to confront the challenge of data erasure within federated learning (FL) settings, which empowers the FL model to unlearn an FL client or identifiable information pertaining to the client. Nevertheless, the distinctive attributes of federated learning introduce specific challenges for FU techniques. These challenges necessitate a tailored design when developing FU algorithms. While various concepts and numerous federated unlearning schemes exist in this field, the unified workflow and tailored design of FU are not yet well understood. Therefore, this comprehensive survey delves into the techniques and methodologies in FU providing an overview of fundamental concepts and principles, evaluating existing federated unlearning algorithms, and reviewing optimizations tailored to federated learning. Additionally, it discusses practical applications and assesses their limitations. Finally, it outlines promising directions for future research.

研究动机与目标

• 为应对联邦学习（FL）中日益增长的数据隐私需求，通过在请求时移除客户端数据或模型影响来实现目标。
• 识别并分析联邦遗忘中特有的关键挑战，包括遗忘效率、隐私保护以及认证删除。
• 提出统一的工作流程与分类体系，基于遗忘发起者身份与遗忘目标，对现有联邦遗忘技术进行分类。
• 评估当前FU方法的局限性，并突出在公平性、可解释性以及动态客户端管理方面的关键研究空白。
• 探索联邦遗忘在大语言模型（LLMs）、推荐系统以及图神经网络中的特定领域应用，并识别未来研究的机遇。

提出的方法

• 提出一种统一的联邦遗忘工作流程，建模中心服务器、剩余客户端与被遗忘客户端在遗忘过程中的交互。
• 基于遗忘发起者（如客户端、服务器）与遗忘内容（整个客户端或部分数据）提出一种新颖的FU技术分类体系。
• 回顾零知识证明（ZKPs）与可信执行环境（TEEs）等密码学技术，用于认证遗忘的验证。
• 分析非侵入式标记方案与验证机制，以确保数据删除的同时不损害模型性能。
• 研究面向联邦学习的优化方法，包括通信高效的遗忘机制以及对动态客户端参与的鲁棒性。
• 评估隐私保护技术（如PPTs）与遗忘机制在动态、去中心化联邦学习环境中的集成。

实验结果

研究问题

• RQ1 如何使联邦遗忘在数据删除后实现与重新训练相当的模型一致性？
• RQ2 在联邦学习中，哪些机制可确保遗忘效率，同时最小化通信与计算成本？
• RQ3 在遗忘过程中，如何在不向服务器或其他客户端暴露本地客户端数据的前提下保护隐私？
• RQ4 哪些密码学或硬件解决方案可实现在不可信联邦学习环境中的可验证、认证数据或客户端影响删除？
• RQ5 如何将联邦遗忘适配于动态客户端环境及特定领域应用（如大语言模型与图神经网络）？

主要发现

• 有效的联邦遗忘必须在模型一致性、遗忘效率、隐私保护与认证删除之间取得平衡。
• 在联邦学习中，直接重新训练在计算上不可行，因此高效遗忘算法对实际部署至关重要。
• 零知识证明与可信执行环境等密码学方法可在信任受限环境中为认证遗忘提供强有力保障。
• 非侵入式验证机制（如标记-验证）对于避免因数据操作导致的性能下降至关重要。
• 客户端动态行为（如退出、加入与数据重叠）引入了显著的非确定性，要求具备客户端动态感知能力的FU算法。
• 在大语言模型、推荐系统与图神经网络等特定领域应用中，联邦遗忘展现出潜力，但在联邦遗忘背景下仍处于研究不足状态。