[论文解读] Communication-Efficient Federated Distillation with Active Data Sampling

Lumin Liu, Jun Zhang+2 more|arXiv (Cornell University)|Mar 14, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出联邦蒸馏主动数据采样（Federated Distillation with Active Data Sampling, FAS），一种通信高效的联邦学习框架，通过选择性上传来自公共辅助数据集的低熵logits来减少通信开销。通过结合基于熵的采样与随机采样，FAS在非独立同分布（non-i.i.d.）数据和异构模型架构下提升了模型准确率，在极端数据偏移条件下，测试准确率相比基线方法最高提升10%。

ABSTRACT

Federated learning (FL) is a promising paradigm to enable privacy-preserving deep learning from distributed data. Most previous works are based on federated average (FedAvg), which, however, faces several critical issues, including a high communication overhead and the difficulty in dealing with heterogeneous model architectures. Federated Distillation (FD) is a recently proposed alternative to enable communication-efficient and robust FL, which achieves orders of magnitude reduction of the communication overhead compared with FedAvg and is flexible to handle heterogeneous models at the clients. However, so far there is no unified algorithmic framework or theoretical analysis for FD-based methods. In this paper, we first present a generic meta-algorithm for FD and investigate the influence of key parameters through empirical experiments. Then, we verify the empirical observations theoretically. Based on the empirical results and theory, we propose a communication-efficient FD algorithm with active data sampling to improve the model performance and reduce the communication overhead. Empirical simulations on benchmark datasets will demonstrate that our proposed algorithm effectively and significantly reduces the communication overhead while achieving a satisfactory performance.

研究动机与目标

• 为解决联邦学习中高通信开销与模型异构性问题，特别是在非独立同分布（non-i.i.d.）数据设置下的挑战。
• 开发一种统一的联邦蒸馏（Federated Distillation, FD）框架，以支持对辅助数据分布和logits聚合等关键组件的系统性分析。
• 通过关键参数（如logit熵和蒸馏集大小）的实验与理论分析，识别FD的设计原则。
• 提出一种新颖的、通信高效的FD算法，以在带宽受限和客户端模型异构的条件下提升性能。

提出的方法

• 提出一种通用的元算法用于联邦蒸馏（FD），统一现有FD方法，并支持关键参数的系统性分析。
• 引入一种混合主动数据采样策略：一半上传的logits基于熵值升序（置信度）选择，另一半随机采样，以平衡探索与利用。
• 使用公共未标注辅助数据集，通过本地模型生成伪标签，实现在不共享原始客户端数据的前提下进行蒸馏。
• 在服务器端聚合客户端提供的logits以更新全局模型，知识迁移基于软标签（logits）而非模型权重。
• 针对二分类问题，基于高斯混合模型进行理论分析，以证明低logit熵和大蒸馏集大小的重要性。
• 在CIFAR-10上使用ResNet-8，设置20个客户端，每个客户端持有1,000个私有样本，并在20轮通信中使用2,000至8,000个公共样本进行蒸馏。

实验结果

研究问题

• RQ1 辅助蒸馏数据集的分布如何影响联邦蒸馏的性能？
• RQ2 logits聚合策略与logit熵对FD中模型收敛性和准确率的影响是什么？
• RQ3 上传logits的规模如何影响通信效率与学习性能？
• RQ4 结合低熵与随机采样的主动数据采样能否在非独立同分布数据下提升泛化能力？
• RQ5 低熵logits选择在FD中有效的理论基础是什么？

主要发现

• FAS中的混合主动采样策略在CIFAR-10上实现了0.5788的测试准确率（α=0.1，高度非独立同分布），相比无采样基线提升了11.5%。
• 仅使用低熵采样，准确率从α=0.1时的0.4644提升至0.5219，表明基于置信度的选择在数据偏移情况下具有优势。
• 随机采样在非独立同分布条件下表现显著下降，在α=0.1时降至0.468，表明无引导采样时泛化能力差。
• 混合策略在所有数据分布下均保持稳定性能，在α=100时达到0.7058，在α=0.1时达到0.5498，展现出强鲁棒性。
• 理论分析证实，最小化logit熵并增大蒸馏集大小可增强模型泛化能力，验证了实验发现。