[论文解读] Fast Federated Learning in the Presence of Arbitrary Device Unavailability

Xinran Gu, Kaixuan Huang+2 more|arXiv (Cornell University)|Jun 8, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用 24

一句话总结

本文提出了一种新型联邦学习算法——记忆增强型急切联邦平均（MIFA），可缓解因设备任意不可用而导致的收敛性能下降问题。通过利用存储的最新更新来纠正梯度偏差，并动态适应非活跃设备，MIFA 在非独立同分布（non-i.i.d.）数据和任意设备可用性模式下，实现了极小化最大误差的最优收敛速率——对于强凸函数为 $Ø\left(\frac{\bar{\tau}_{T}+1}{NKT}\right)$，对于非凸函数为 $Ø\left(\sqrt{\frac{\bar{\nu}+1}{NKT}}\right)$。

ABSTRACT

Federated Learning (FL) coordinates with numerous heterogeneous devices to collaboratively train a shared model while preserving user privacy. Despite its multiple advantages, FL faces new challenges. One challenge arises when devices drop out of the training process beyond the control of the central server. In this case, the convergence of popular FL algorithms such as FedAvg is severely influenced by the straggling devices. To tackle this challenge, we study federated learning algorithms under arbitrary device unavailability and propose an algorithm named Memory-augmented Impatient Federated Averaging (MIFA). Our algorithm efficiently avoids excessive latency induced by inactive devices, and corrects the gradient bias using the memorized latest updates from the devices. We prove that MIFA achieves minimax optimal convergence rates on non-i.i.d. data for both strongly convex and non-convex smooth functions. We also provide an explicit characterization of the improvement over baseline algorithms through a case study, and validate the results by numerical experiments on real-world datasets.

研究动机与目标

• 解决联邦学习中设备不可用的问题，即设备在训练过程中可能不可预测地掉线，从而破坏收敛性。
• 克服现有方法的局限性，这些方法假设已知响应分布或需要主动选择设备，可能导致过高的延迟。
• 开发一种对设备可用性模式无感的算法，并能自动适应非平稳或对抗性不可用情况。
• 在任意设备不可用条件下，实现强凸和非凸设置下的极小化最大误差最优收敛速率。
• 通过在所有设备均活跃时退化为已知最优速率，确保向后兼容性。

提出的方法

• 提出 MIFA，即 FedAvg 的一种记忆增强变体，通过存储并重用每个设备的最新模型更新，以纠正因延迟或缺失更新导致的梯度偏差。
• 在聚合过程中动态跳过非活跃设备，从而通过避免等待慢速设备来降低延迟。
• 采用加权平均方案，其中权重基于记忆化的最新更新计算，以减少梯度估计中的偏差。
• 引入一个理论框架，将设备不可用建模为任意、非独立同分布且可能具有对抗性的模式，无需事先知晓可用性分布。
• 将优化目标表述为设备上随机函数之和，反映现实世界中的数据异构性。
• 在强凸和非凸光滑目标下证明收敛速率，并建立匹配的下界，以确认最优性。

实验结果

研究问题

• RQ1 当设备任意不可用时，联邦学习能否在不假设已知或平稳可用性分布的前提下，维持最优收敛速率？
• RQ2 在缺乏可靠设备响应模式的情况下，如何有效纠正缺失或延迟更新导致的梯度偏差？
• RQ3 在任意设备不可用条件下，联邦学习的理论收敛速率是多少？能否实现匹配或超越？
• RQ4 与 FedAvg 等基线算法相比，MIFA 在设备掉线情况下的收敛速度和鲁棒性表现如何？
• RQ5 所提出的算法能否在所有设备活跃和部分设备不活跃的两种情形下均实现最优收敛速率？

主要发现

• MIFA 在任意设备不可用条件下，对平滑强凸函数实现了极小化最大误差最优收敛速率 $\mathcal{O}\left(\frac{\bar{\tau}_{T}+1}{NKT}\right)$。
• 对于平滑非凸函数，MIFA 实现了 $\mathcal{O}\left(\sqrt{\frac{\bar{\nu}+1}{NKT}}\right)$ 的收敛速率，与已建立的下界完全匹配。
• 即使所有设备均处于活跃状态，该算法仍能保持最优收敛速率，确保与标准 FedAvg 的向后兼容性。
• 通过案例研究，论文明确刻画了 MIFA 在收敛速度和对设备掉线鲁棒性方面相对于基线算法的改进。
• 在真实世界数据集上的数值实验验证了，当设备不可用时，MIFA 显著降低了训练延迟并提升了收敛性能，优于 FedAvg 和其他基线方法。
• 理论分析证实，MIFA 的收敛速率是最优的，且在凸与非凸设置下均建立了匹配的下界。