[论文解读] Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation

Zhiyuan Wu, Sheng Sun+6 more|arXiv (Cornell University)|Apr 14, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出 FedDKC，一种无需代理数据的联邦蒸馏框架，通过基于核（KKR）和基于搜索（SKR）的策略，对异构客户端的本地知识进行精炼，以实现分布式知识一致性。通过对齐本地知识分布的峰值概率与香农熵，FedDKC 在不增加额外通信开销的前提下，显著提升了准确率并加快了收敛速度，在异构设置下优于当前最先进方法。

ABSTRACT

Federated learning (FL) is a privacy-preserving machine learning paradigm in which the server periodically aggregates local model parameters from clients without assembling their private data. Constrained communication and personalization requirements pose severe challenges to FL. Federated distillation (FD) is proposed to simultaneously address the above two problems, which exchanges knowledge between the server and clients, supporting heterogeneous local models while significantly reducing communication overhead. However, most existing FD methods require a proxy dataset, which is often unavailable in reality. A few recent proxy-data-free FD approaches can eliminate the need for additional public data, but suffer from remarkable discrepancy among local knowledge due to client-side model heterogeneity, leading to ambiguous representation on the server and inevitable accuracy degradation. To tackle this issue, we propose a proxy-data-free FD algorithm based on distributed knowledge congruence (FedDKC). FedDKC leverages well-designed refinement strategies to narrow local knowledge differences into an acceptable upper bound, so as to mitigate the negative effects of knowledge incongruence. Specifically, from perspectives of peak probability and Shannon entropy of local knowledge, we design kernel-based knowledge refinement (KKR) and searching-based knowledge refinement (SKR) respectively, and theoretically guarantee that the refined-local knowledge can satisfy an approximately-similar distribution and be regarded as congruent. Extensive experiments conducted on three common datasets demonstrate that our proposed FedDKC significantly outperforms the state-of-the-art on various heterogeneous settings while evidently improving the convergence speed.

研究动机与目标

• 解决由于客户端模型异构性导致的无代理数据联邦蒸馏中知识不一致的问题。
• 在不依赖外部代理数据集的前提下，保持低通信开销。
• 在异构联邦学习设置中提升模型准确率与收敛速度。
• 确保各客户端经过精炼的本地知识达到相似且一致的分布，以实现稳定蒸馏。
• 设计在服务器端计算上可行的高效精炼机制。

提出的方法

• 提出一种无需代理数据集的联邦蒸馏框架 FedDKC，通过不依赖代理数据集的方式实现分布式知识一致性。
• 引入基于核的知识精炼（KKR），以对齐归一化后本地知识分布的峰值概率。
• 设计基于搜索的知识精炼（SKR），以平衡本地知识的香农熵，促进分布相似性。
• 理论分析证明，精炼后的知识满足近似一致的分布，从而支持一致的蒸馏。
• 在服务器端的全局蒸馏过程中应用 KKR 和 SKR，对客户端知识进行精炼后再进行聚合。
• 通过避免参数交换，仅依赖知识传输，保持通信效率。

实验结果

研究问题

• RQ1 在无代理数据的联邦蒸馏中，如何在异构客户端之间实现知识一致性？
• RQ2 哪些机制能有效减少知识差异，同时不引入额外通信开销？
• RQ3 通过精炼本地知识的峰值概率与香农熵，能否提升蒸馏稳定性和模型准确率？
• RQ4 在实现知识一致性方面，KKR 与 SKR 在准确率与灵活性方面有何差异？
• RQ5 FedDKC 在异构联邦学习设置下，相较于现有无代理数据联邦蒸馏方法，性能提升程度如何？

主要发现

• 在多种异构设置下，FedDKC 在三个常见数据集上显著优于当前最先进无代理数据联邦蒸馏方法。
• 所提出的 KKR 与 SKR 精炼策略通过对齐本地知识分布的峰值概率与香农熵，有效减少了知识差异。
• 实验表明，FedDKC 在保持低通信开销的同时提升了收敛速度，因为未交换模型参数。
• 实证评估中，KKR 实现了更高的准确率，而 SKR 在配置目标知识分布方面提供了更大的灵活性。
• 与全局蒸馏过程相比，KKR 与 SKR 在服务器端带来的额外计算开销微不足道且可接受。
• FedDKC 是首个通过分布式知识一致性实现高准确率与通信效率兼备的无代理数据联邦蒸馏框架。