[论文解读] Accelerating Asynchronous Federated Learning Convergence via Opportunistic Mobile Relaying

Jieming Bian, Jie Xu|arXiv (Cornell University)|Jun 9, 2022

Cooperative Communication and Network Coding被引用 7

一句话总结

本文提出 FedMobile，一种异步联邦学习算法，利用客户端移动性实现客户端之间的机会性中继，以提前上传和下载模型更新。通过战略性地安排中继时机，FedMobile 实现了 $O(1/ ext{sqrt}(NT))$ 的收敛速率，并在合成数据集和真实世界数据集（Fashion-MNIST、CIFAR-10）上验证了更高的移动性可带来更快的收敛速度。

ABSTRACT

This paper presents a study on asynchronous Federated Learning (FL) in a mobile network setting. The majority of FL algorithms assume that communication between clients and the server is always available, however, this is not the case in many real-world systems. To address this issue, the paper explores the impact of mobility on the convergence performance of asynchronous FL. By exploiting mobility, the study shows that clients can indirectly communicate with the server through another client serving as a relay, creating additional communication opportunities. This enables clients to upload local model updates sooner or receive fresher global models. We propose a new FL algorithm, called FedMobile, that incorporates opportunistic relaying and addresses key questions such as when and how to relay. We prove that FedMobile achieves a convergence rate $O(\frac{1}{\sqrt{NT}})$, where $N$ is the number of clients and $T$ is the number of communication slots, and show that the optimal design involves an interesting trade-off on the best timing of relaying. The paper also presents an extension that considers data manipulation before relaying to reduce the cost and enhance privacy. Experiment results on a synthetic dataset and two real-world datasets verify our theoretical findings.

研究动机与目标

• 解决移动系统中客户端与服务器之间通信稀疏且随机的异步联邦学习（FL）收敛缓慢的问题。
• 利用客户端移动性，通过基于中继的上传和下载，在客户端与服务器之间创造间接通信机会。
• 设计一种最优调度上传和下载中继的算法，以最小化模型滞后并提升收敛性能。
• 从理论和实证两方面验证，通过及时中继，更高的移动性可显著提升联邦学习收敛性能。
• 将框架扩展至支持多跳中继通信，并分析其对收敛性能的影响。

提出的方法

• 提出 FedMobile，一种异步联邦学习算法，允许每个客户端在连续两次与服务器会面之间最多使用一个上传中继和一个下载中继。
• 引入中继时机策略：客户端在两次服务器会面之间的特定时间点（最优位置约为中点）搜索中继候选者，以平衡更新的新鲜度与可用性。
• 将中继过程建模为两跳通信链路：客户端 → 中继 → 服务器，从而实现本地更新的提前上传和全局模型的快速下载。
• 理论分析推导出收敛速率为 $O(1/ ext{sqrt}(NT))$，其依赖于客户端数量 $N$ 和通信时隙数 $T$，并揭示了中继时机的权衡关系。
• 将 FedMobile 扩展为支持每个时间间隔内多个上传和下载中继，以探索进一步的性能增益。
• 在固定间隔和随机间隔通信模式下，于合成数据和真实世界数据集（Fashion-MNIST、CIFAR-10）上开展实验，以验证理论结论。

实验结果

研究问题

• RQ1 通过移动性实现的机会性客户端间通信能否改善异步联邦学习的收敛性能？
• RQ2 上传和下载中继的最优时机是什么，以最小化模型滞后并最大化收敛速度？
• RQ3 客户端移动性如何影响与服务器之间间接通信机会的数量和及时性？
• RQ4 结合上传和下载中继相较于单独使用任一方式，能带来多大的性能提升？
• RQ5 每个时间间隔内多跳中继通信对收敛性能有何影响？在真实世界数据场景中存在哪些实际限制？

主要发现

• FedMobile 实现了理论收敛速率 $O(1/ ext{sqrt}(NT))$，证明中继机制可显著加速异步联邦学习中的学习过程。
• 上传和下载中继的最优时机均位于两次连续服务器会面的中点附近，验证了理论中关于新鲜度与可用性之间权衡的结论。
• 更高的客户端移动性可增加及时中继机会的数量，从而实现更快收敛，该结论在合成数据集和真实世界数据集上均得到验证。
• 结合上传和下载中继带来的性能增益大于单独使用任一方式，FMNIST 实验显示在固定间隔设置下，FedMobile 仅需 110 个时隙即可达到 70% 准确率，而 ASYNC 需要 180 个时隙。
• 多个上传中继可进一步提升收敛速度，但多个下载中继在真实世界数据集上带来的增益有限，可能由于数据复杂性违反了理论假设。
• 虚拟中继实验（Virtual-U 和 Virtual-D）证实，与服务器的通信频率提高可改善收敛性能，尤其在训练初期和末期阶段更为显著。