[论文解读] Federated Learning with Partial Model Personalization

Krishna Pillutla, Kshitiz Malik+4 more|arXiv (Cornell University)|Apr 8, 2022

Privacy-Preserving Technologies in Data被引用 26

一句话总结

该论文在非凸、部分参与设置下分析两种面向部分个性化模型的联邦学习算法（FedAlt 和 FedSim），证明收敛性，并显示部分个性化在只需少量个性化参数的情况下可接近全量个性化；通常 FedAlt 的表现优于 FedSim。

ABSTRACT

We consider two federated learning algorithms for training partially personalized models, where the shared and personal parameters are updated either simultaneously or alternately on the devices. Both algorithms have been proposed in the literature, but their convergence properties are not fully understood, especially for the alternating variant. We provide convergence analyses of both algorithms in the general nonconvex setting with partial participation and delineate the regime where one dominates the other. Our experiments on real-world image, text, and speech datasets demonstrate that (a) partial personalization can obtain most of the benefits of full model personalization with a small fraction of personal parameters, and, (b) the alternating update algorithm often outperforms the simultaneous update algorithm by a small but consistent margin.

研究动机与目标

• 在联邦学习中动机化部分模型个性化以降低内存占用同时保持性能。
• 开发并分析两种更新方案（FedAlt 和 FedSim）用于共享参数与个人参数的组合。
• 在非凸、部分参与条件下提供收敛性保证。
• 在多样数据集（图像、文本、语音）上进行个性化方案的实证比较。
• 就何时采取部分个性化以及其局限性提供实际指南。

提出的方法

• 将优化问题记为包含共享参数 u 和设备特异个人参数 v_i 的问题（问题（3））。
• 研究两种算法：FedSim（同时更新）和 FedAlt（交替更新），在标准 FL 轮次中进行。
• 提供局部更新流程：LocalAlt（先个人更新再共享更新）和 LocalSim（同时更新）及随机梯度。
• 在光滑的非凸且部分参与的设定下建立收敛性，利用虚拟全参与技术处理相关随机性。
• 推导收敛界，给出 1/sqrt(T) 和 1/T^{2/3} 的收敛速率，且与问题相关的有效噪声方差相关。
• 在任务（图像、文本、语音）上对 FedAlt 和 FedSim 进行理论与实证比较。

实验结果

研究问题

• RQ1 部分模型个性化是否在参数规模更小的情况下仍能获得全量个性化的大部分收益？
• RQ2 在具有一般非凸目标和部分设备参与条件下，FedAlt 和 FedSim 的收敛性表现如何？
• RQ3 在什么条件下 FedAlt 相对 FedSim 在收敛性与经验性能上占优？
• RQ4 不同的个性化分区（输入层、输出层、适配器）对性能和内存占用有何影响？
• RQ5 在实际的 FL 部署中，如何为选择个性化策略提供实用指南？

主要发现

• 部分个性化在使用非常小比例的个性化参数的情况下可获得全量个性化的大部分收益。
• 在部分参与下，FedAlt 收敛，并在实践中相较于 FedSim 具有稳定的小幅优势。
• 出现了两种收敛模式；当设备端个人梯度噪声较低且耦合适度时，FedAlt 可主导 FedSim。
• 个性化策略（输入层、输出层、适配器）在任务与数据上呈现依赖性，适配器通常能达到甚至超过全量个性化的性能，同时使用适度的个性化预算。
• 在某些设备上，个性化可能会降低性能，凸显在平均收益之外需关注公平性的问题。
• 在各类任务（图像、文本、语音）上，部分个性化在现实数据集上展现出显著的经验收益。