[论文解读] Asynchronous Federated Optimization

Cong Xie, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Mar 10, 2019

Privacy-Preserving Technologies in Data参考文献 23被引用 442

一句话总结

本文提出 FedAsync，一种异步联邦优化算法，结合局部正则化的 SGD 更新与自适应混合，在某些条件下实现近线性收敛，并容忍陈旧更新。

ABSTRACT

Federated learning enables training on a massive number of edge devices. To improve flexibility and scalability, we propose a new asynchronous federated optimization algorithm. We prove that the proposed approach has near-linear convergence to a global optimum, for both strongly convex and a restricted family of non-convex problems. Empirical results show that the proposed algorithm converges quickly and tolerates staleness in various applications.

研究动机与目标

• 动机在于通过异步训练为边缘设备的联邦学习提高可扩展性和响应性。
• 提出一种新的异步联邦优化算法，能够容忍陈旧更新。
• 为受限类的非凸问题建立收敛性保证。
• 通过自适应混合开发实用策略来控制由异步导致的误差。
• 在现实场景中展示相对于同步 FedAvg 的经验性优势。

提出的方法

• 提出 FedAsync，其中服务器通过带有混合参数 alpha 的加权平均来更新全局模型。
• 每个设备使用 SGD 在扩增损失 f(x;z)+ (rho/2)||x - x_t||^2 上求解带正则化的局部问题。
• 允许带时间戳的陈旧模型的非阻塞更新的异步服务器-工作者通信。
• 引入自适应混合函数 alpha_t = alpha * s(tau difference) 来减轻陈旧性影响。
• 在有界延迟和局部更新次数的假设下，提供在 L-光滑性和 mu-弱凸性假设下的收敛性分析。
• 推导关于 rho、gamma 与陈旧性之间的条件，以保证收敛到一个临界点。

实验结果

研究问题

• RQ1 在有界延迟和异构局部更新的条件下，异步联邦优化能否收敛到全局最优点或临界点？
• RQ2 陈旧性如何影响收敛性，且在 FedAsync 中自适应混合能否减轻其影响？
• RQ3 在非独立同分布数据下，FedAsync 是否在常见数据集上相对于同步 FedAvg 提供实际性能提升？
• RQ4 哪些机制（正则化、混合）足以在异步联邦设置中确保收敛和稳定性？

主要发现

• 在给定假设下，FedAsync 在强凸和受限的一类非凸问题上实现接近线性收敛至全局最优。
• 自适应混合策略提高对陈旧性的鲁棒性，实验证明通常优于常量混合。
• 实证结果显示 FedAsync 收敛迅速，能够容忍不同程度的陈旧性，有时甚至优于同步 FedAvg。
• 更大的陈旧性会减慢收敛，但在使用自适应 alpha 时并非灾难性。
• 所提出的方法通过混合超参数在收敛速度与方差约简之间提供可调的折中。