[论文解读] FedICT: Federated Multi-task Distillation for Multi-access Edge Computing

Zhiyuan Wu, Sheng Sun+5 more|arXiv (Cornell University)|Jan 1, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedICT 提出了一种通信高效的联邦多任务蒸馏框架，用于多接入边缘计算（MEC），可在无需公开数据集的情况下实现个性化、异构模型训练。通过引入联邦先验知识蒸馏（FPKD）和本地知识调节（LKA），与基线方法相比，FedICT 将通信开销减少至不足 1.2%，训练轮次减少高达 75%，同时缓解了客户端漂移问题，并在数据和模型异构性条件下提升了性能。

ABSTRACT

The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients' fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.

研究动机与目标

• 解决在资源受限的多接入边缘计算（MEC）环境中训练个性化、异构模型的挑战。
• 克服现有联邦多任务学习（FMTL）方法通信开销高且模型架构同质化的局限性。
• 消除知识蒸馏中对公开数据集的依赖，以实现 MEC 中的隐私保护训练。
• 缓解联邦设置中因客户端本地优化方向发散导致的客户端漂移问题。
• 在异构数据与模型环境下，以极低通信成本和快速收敛速度实现高模型准确率。

提出的方法

• 提出联邦先验知识蒸馏（FPKD），通过利用本地数据分布的先验知识，提升客户端对本地数据的拟合能力。
• 提出本地知识调节（LKA），在服务器端校正蒸馏损失，使传递的本地知识与全局模型的泛化表示对齐。
• 在客户端与服务器之间实现双向知识蒸馏，实现相互知识迁移，同时不共享原始数据或模型参数。
• 在客户端和服务器端均使用数据分布向量来引导知识迁移，确保与本地和全局数据特征的一致性。
• 设计两阶段训练流程：(1) 客户端侧使用本地数据分布向量进行初始化；(2) 服务器端使用聚合的客户端知识更新全局模型。
• 应用基于相似性的和类别平衡的 LKA 技术，以在数据偏移条件下提升知识对齐效果。

实验结果

研究问题

• RQ1 在 MEC 环境中，是否可以在不依赖公开数据集的情况下有效应用知识蒸馏于联邦多任务学习？
• RQ2 当客户端在异构 MEC 环境中朝向不同的本地目标优化时，如何缓解客户端漂移问题？
• RQ3 在异构模型架构下，联邦多任务学习中的通信开销可被减少到何种程度？
• RQ4 在数据和模型异构性条件下，是否能够有效训练个性化模型并同时保护隐私？
• RQ5 与最先进的联邦蒸馏框架相比，所提出方法在收敛速度和准确率方面表现如何？

主要发现

• FedICT 在所有测试数据集（包括图像分类和交通方式检测）中均实现了更高的模型准确率，且在多样的数据与模型异构性条件下表现优异。
• FedICT 的通信开销低于 FedAvg 的 1.2%，显著降低了 MEC 环境中的带宽使用。
• 与 FedGKT 相比，FedICT 将训练轮次减少高达 75%，加速了收敛过程，且未牺牲性能。
• 消融实验表明，FPKD 和 LKA 均对性能提升有贡献，当任一组件被移除时性能均出现下降。
• FedICT 在平均用户准确率上优于 FedGKT 和 FedDKC，且所需训练轮次更少、通信量更低。
• 计算开销可控，且被收敛速度的提升所抵消，因为额外开销比标准反向传播小几个数量级。