[论文解读] Federated Distillation: A Survey

Li Lin, Jianping Gou+3 more|arXiv (Cornell University)|Apr 2, 2024

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本综述评估联邦蒸馏（FD），详细说明知识蒸馏如何通过交换软标签而非模型参数，在FL中实现灵活、通信高效的协作，并对挑战、方案与应用进行综述。

ABSTRACT

Federated Learning (FL) seeks to train a model collaboratively without sharing private training data from individual clients. Despite its promise, FL encounters challenges such as high communication costs for large-scale models and the necessity for uniform model architectures across all clients and the server. These challenges severely restrict the practical applications of FL. To address these limitations, the integration of knowledge distillation (KD) into FL has been proposed, forming what is known as Federated Distillation (FD). FD enables more flexible knowledge transfer between clients and the server, surpassing the mere sharing of model parameters. By eliminating the need for identical model architectures across clients and the server, FD mitigates the communication costs associated with training large-scale models. This paper aims to offer a comprehensive overview of FD, highlighting its latest advancements. It delves into the fundamental principles underlying the design of FD frameworks, delineates FD approaches for tackling various challenges, and provides insights into the diverse applications of FD across different scenarios.

研究动机与目标

• 解释 FD 概念及其如何解决 FL 面临的数据/模型异质性与通信成本等挑战。
• 总结 FD 的形式化、架构，以及软标签知识转移的作用。
• 综述 FD 方案（数据/公开数据/合成数据、异质性缓解、隐私相关考量）及跨领域的实际应用。

提出的方法

• 提出一种 FD 框架，在公开数据集上由客户端共享软标签而不是模型参数。
• 描述主要的 FD 工作流：在公开数据上进行蒸馏、服务器对软标签进行聚合、客户端蒸馏与本地微调。
• 按数据可用性（公开数据、合成数据）和异质性挑战（数据、系统、模型）对 FD 方案进行分类。
• 在 FD 场景下讨论知识蒸馏的类别（标签、特征、参数、关系）。
• 突出 FD 相较于基于参数的 FL 的优势，包括降低通信成本以及潜在的隐私收益。

实验结果

研究问题

• RQ1 在 FL 中，联邦蒸馏（FD）如何解决通信成本和架构异质性？
• RQ2 处理数据异质性的主要 FD 方案有哪些，公开数据或合成数据如何影响 FD 的性能？
• RQ3 按知识类型和方案设计对 FD 方法进行何种分类，以及它们在实际中的应用与局限？
• RQ4 未来研究中 FD 的关键开放挑战与方向是什么？
• RQ5 FD 已如何应用于无线通信、安全、监控与分类等领域？

主要发现

• FD 用软标签蒸馏取代参数交换，降低了通信开销。
• 通过在公开数据或合成数据上蒸馏知识，FD 能实现异质化的客户端-服务器架构。
• 公开数据和合成数据的 FD 方案有助于缓解数据异质性和非 IID 情形。
• 多种 FD 策略（选择性 FD、互蒸馏、无数据 FD）解决隐私与鲁棒性问题。
• FD 已被应用于无线通信、关键词识别、行人再识别和入侵检测等领域。
• 数据异质性仍然是核心挑战，现有策略利用辅助数据、数据生成和蒸馏技术。