[论文解读] Heterogeneous Federated Learning

Fuxun Yu, Weishan Zhang+6 more|arXiv (Cornell University)|Aug 15, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用 15

一句话总结

本文提出了一种新颖的异构联邦学习框架，通过基于特征的调节方法（Ψ-Net）强制实现结构与特征信息对齐。通过在训练初期显式地将特征信息分配给分组的神经网络组件，该框架实现了跨异构客户端的可匹配、结构对齐的模型，显著提升了收敛速度、准确率和通信效率——尤其在非独立同分布（non-IID）数据设置下，相比最先进方法，准确率最高提升4.6%，同时计算成本更低。

ABSTRACT

Federated learning learns from scattered data by fusing collaborative models from local nodes. However, due to chaotic information distribution, the model fusion may suffer from structural misalignment with regard to unmatched parameters. In this work, we propose a novel federated learning framework to resolve this issue by establishing a firm structure-information alignment across collaborative models. Specifically, we design a feature-oriented regulation method ({$Ψ$-Net}) to ensure explicit feature information allocation in different neural network structures. Applying this regulating method to collaborative models, matchable structures with similar feature information can be initialized at the very early training stage. During the federated learning process under either IID or non-IID scenarios, dedicated collaboration schemes further guarantee ordered information distribution with definite structure matching, so as the comprehensive model alignment. Eventually, this framework effectively enhances the federated learning applicability to extensive heterogeneous settings, while providing excellent convergence speed, accuracy, and computation/communication efficiency.

研究动机与目标

• 解决由于异构客户端之间结构错位和参数分布混乱导致的联邦学习模型融合失败问题。
• 克服FedAvg和基于排列的方法（如FedMA）的局限性，后者在非IID数据下存在匹配不准确、开销高、性能差的问题。
• 建立一种直接的模型调节方法，确保特征对齐初始化，并在训练过程中保持结构匹配。
• 在高度异构、非IID的联邦学习场景中，提升收敛速度、准确率以及通信/计算效率。
• 通过对齐模型结构与语义特征表示，实现跨多样化、真实世界数据分布的鲁棒且可扩展的联邦学习。

提出的方法

• 提出一种基于特征的调节方法Ψ-Net，根据数据和任务分布，显式地将特征信息分配给神经网络架构中的分组组件。
• 设计一种分组机制，将特定类别或特征映射到不同的神经元组，从训练初期即确保结构与语义对齐。
• 引入使用组归一化（Group Normalization, GN）的归一化策略，以稳定组内内部协变量偏移，并提升客户端间特征的一致性。
• 应用一种专用的协作方案，在联邦平均过程中保持明确的结构匹配，防止参数错配融合。
• 采用排列不变的模型公式化方法，确保即使在参数重排后模型函数保持一致，从而实现可靠对齐。
• 集成一种深度敏感的分组策略，使模型在不同网络深度和分组配置下均具备鲁棒性能。

实验结果

研究问题

• RQ1 通过模型调节实现显式的特征信息分配，是否能改善异构联邦学习中的结构对齐？
• RQ2 在高度非IID的数据分布下，所提出的Ψ-Net方法相较于FedAvg和FedMA表现如何？
• RQ3 分组机制与归一化策略在联邦学习设置中对收敛速度和模型准确率的影响程度如何？
• RQ4 该框架对分组深度和分组数量等超参数选择是否具有鲁棒性？
• RQ5 与现有最先进方法相比，该框架是否能在降低通信与计算开销的前提下实现更优性能？

主要发现

• 在相同训练预算下，所提框架相比FedMA、FedAvg和FedProx等最先进方法，测试准确率最高提升4.6%。
• 在10×50分布偏斜的非IID设置下，使用10个分组时，框架保持稳健性能，准确率达68.23%，优于FedAvg的65.32%。
• 使用100个分组时，模型收敛速度最快，尽管准确率略低，但达到67.23%，表明细粒度对齐具有显著优势。
• 在相同训练预算下，相比FedMA收敛速度提升最高达2.4%，相比FedAvg和FedProx提升3.0%–4.0%。
• 该方法对分组深度和分组数量具有高度鲁棒性，在CIFAR10上各种配置下均保持超过89%的准确率。
• 组归一化（GN）显著提升性能，框架在GN下达到88.26%准确率，而FedAvg在GN下仅为83.34%，表明内部一致性得到显著改善。