[论文解读] Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning

Wenke Huang, Mang Ye+2 more|arXiv (Cornell University)|Sep 28, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出 FCCL+，一种新颖的联邦学习框架，通过利用未标注的公开数据在logits和特征层面对齐跨相关性和实例相似性分布，从而在异构设置下提升模型泛化能力。该方法进一步引入联邦非目标蒸馏（Federated Non-Target Distillation），以缓解本地更新过程中的灾难性遗忘问题，在多种领域偏移场景下实现了通信和计算开销极低的最先进性能。

ABSTRACT

Federated learning is an important privacy-preserving multi-party learning paradigm, involving collaborative learning with others and local updating on private data. Model heterogeneity and catastrophic forgetting are two crucial challenges, which greatly limit the applicability and generalizability. This paper presents a novel FCCL+, federated correlation and similarity learning with non-target distillation, facilitating the both intra-domain discriminability and inter-domain generalization. For heterogeneity issue, we leverage irrelevant unlabeled public data for communication between the heterogeneous participants. We construct cross-correlation matrix and align instance similarity distribution on both logits and feature levels, which effectively overcomes the communication barrier and improves the generalizable ability. For catastrophic forgetting in local updating stage, FCCL+ introduces Federated Non Target Distillation, which retains inter-domain knowledge while avoiding the optimization conflict issue, fulling distilling privileged inter-domain information through depicting posterior classes relation. Considering that there is no standard benchmark for evaluating existing heterogeneous federated learning under the same setting, we present a comprehensive benchmark with extensive representative methods under four domain shift scenarios, supporting both heterogeneous and homogeneous federated settings. Empirical results demonstrate the superiority of our method and the efficiency of modules on various scenarios.

研究动机与目标

• 为解决联邦学习中模型与数据异构性带来的挑战，该挑战限制了模型的泛化能力与稳定性。
• 通过利用未标注的公开数据实现知识迁移，以克服异构模型之间的通信障碍。
• 在不损害域内性能的前提下，缓解本地模型更新过程中的灾难性遗忘问题。
• 建立一个标准化的基准，用于在标准领域偏移场景下评估异构联邦学习。
• 为未来异构联邦学习研究提供可复现、高效且有效的基线。

提出的方法

• 利用未标注的公开数据构建参与者表示之间的交叉相关矩阵，以实现在异构模型间的通信。
• 在logits和特征两个层面对齐实例相似性分布，以提升跨域泛化能力与域内可分性。
• 提出联邦非目标蒸馏（Federated Non-Target Distillation, FNTD），通过从先前全局模型状态中蒸馏知识，且不依赖目标类别监督，从而避免优化冲突。
• 采用温度控制的软标签蒸馏损失，以保留跨域知识，同时保持对标签监督的完整性以支持域内学习。
• 在FNTD中使用上一轮的全局模型（θ^{e-1}）作为动态教师模型，而非当前轮次的（θ^e），以稳定知识迁移过程。
• 设计模块化框架，支持同构与异构两种设置，且计算开销极低。

实验结果

研究问题

• RQ1 当模型架构和数据分布不同时，如何实现异构联邦模型之间的有效通信？
• RQ2 在异构模型之间，如何最优地对齐表示以同时提升域内与跨域性能？
• RQ3 如何在不降低域内准确率的前提下缓解本地模型更新过程中的灾难性遗忘？
• RQ4 教师模型的选择在本地训练过程中对保留跨域知识起到何种作用？
• RQ5 基于非目标类的知识蒸馏与标准蒸馏相比，在稳定性和性能方面表现如何？

主要发现

• FCCL+ 在四种领域偏移场景（包括 Digits、Office31 和 CIFAR-100）中均实现了最先进性能，且在域内与跨域准确率上均有稳定提升。
• 利用未标注的公开数据可实现异构模型间的有效通信，显著提升泛化能力，且不增加通信成本。
• 联邦非目标蒸馏优于标准知识蒸馏，通过避免优化冲突，在高领域偏移场景下表现更优。
• 温度超参数 τ = 3 时性能最优，能有效平衡信息保留与分布平滑。
• 在FNTD中使用 θ^{e-1} 作为教师模型，相比使用 θ^e，能更好地保留域内与跨域知识。
• 在 Office31 等挑战性场景中，FCCL+ 超过 FedProx 等基线方法，同时保持低计算成本且无需参数正则化。