[论文解读] Pisces: Efficient Federated Learning via Guided Asynchronous Training

Zhifeng Jiang, Wei Wang+2 more|arXiv (Cornell University)|Jun 18, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

Pisces 提出了一种异步联邦学习系统，通过智能选择高质量客户端并利用有保证收敛性的引导式参与者选择机制，动态控制延迟，从而加速训练。在大规模视觉与语言模型实验中，其训练达到准确度的时间比同步基线快最多 2.0 倍，比最先进的异步方法快 1.9 倍。

ABSTRACT

Federated learning (FL) is typically performed in a synchronous parallel manner, where the involvement of a slow client delays a training iteration. Current FL systems employ a participant selection strategy to select fast clients with quality data in each iteration. However, this is not always possible in practice, and the selection strategy often has to navigate an unpleasant trade-off between the speed and the data quality of clients. In this paper, we present Pisces, an asynchronous FL system with intelligent participant selection and model aggregation for accelerated training. To avoid incurring excessive resource cost and stale training computation, Pisces uses a novel scoring mechanism to identify suitable clients to participate in a training iteration. It also adapts the pace of model aggregation to dynamically bound the progress gap between the selected clients and the server, with a provable convergence guarantee in a smooth non-convex setting. We have implemented Pisces in an open-source FL platform called Plato, and evaluated its performance in large-scale experiments with popular vision and language models. Pisces outperforms the state-of-the-art synchronous and asynchronous schemes, accelerating the time-to-accuracy by up to 2.0x and 1.9x, respectively.

研究动机与目标

• 为解决同步联邦学习中客户端速度与数据质量之间的固有权衡问题，该问题限制了训练效率。
• 克服现有异步联邦学习系统中因全量或无界客户端参与而导致的资源低效与计算延迟问题。
• 设计一种可扩展、高效且具备理论收敛保证的异步联邦学习框架，以优化参与者选择与模型聚合。
• 实现实时、基于数据质量感知的客户端选择，同时控制延迟，以维持收敛性与模型准确性。

提出的方法

• 提出一种新颖的客户端评分机制，结合训练损失（作为数据质量的代理指标）与聚类技术，以检测并排除数据损坏或恶意的异常客户端。
• 在选择评分中引入延迟惩罚因子，以减少高延迟更新客户端的参与，从而缓解计算延迟问题。
• 动态调整模型聚合速度，以限制所选客户端与服务器之间的进度差距，确保在平滑非凸设置下的收敛性。
• 利用客户端训练进度的预测模型来估计延迟并指导选择，减少对实时同步的依赖。
• 与开源 Plato FL 平台集成，支持在多样化视觉与语言模型上实现端到端部署与评估。
• 采用通用联邦学习框架抽象，支持同步与异步协议，从而实现对不同联邦学习设计的公平比较。

实验结果

研究问题

• RQ1 异步联邦学习能否在保持收敛性保证的前提下，实现比同步方法更快的达到准确度时间？
• RQ2 在存在慢速客户端（stragglers）的情况下，如何优化客户端选择以平衡数据质量与客户端速度？
• RQ3 何种机制能有效控制异步联邦学习中的延迟，同时不牺牲训练效率？
• RQ4 统一框架能否同时支持同步与异步联邦学习协议，并实现一致的性能评估？
• RQ5 在数据污染或对抗性标签翻转情况下系统表现如何？能否稳健检测并排除异常客户端？

主要发现

• 在大规模实验中，Pisces 相较于最先进的同步联邦学习方案，将达到准确度的时间加快最多 2.0 倍。
• 其性能比最佳现有异步基线快最多 1.9 倍，展现出更优的可扩展性与效率。
• 在病理场景下（即快速客户端数据质量较低时），Pisces 相较于最先进的选择策略 Oort，性能提升最高达 2.7 倍。
• 启用异常检测的 Pisces（Pisces w/ rob.）在最终准确率上优于无该功能的变体，尤其在 5% 标签污染情况下表现更优，证明其对数据投毒攻击具有鲁棒性。
• 延迟惩罚因子 ($\beta$) 在不同任务中显著提升性能——例如，$\beta=0.2$ 在 StackOverflow 上表现最佳，而 $\beta=0.5$ 在 FEMNIST 上最优，表明其能适应不同数据分布。
• 系统在平滑非凸设置下保持理论上的收敛性，为实际部署提供了理论保障。