[论文解读] MDA: Availability-Aware Federated Learning Client Selection

Amin Eslami Abyane, Steve Drew+1 more|arXiv (Cornell University)|Nov 25, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出 MDA，这是首个面向跨设备联邦学习的可用性感知客户端选择策略，通过减少超时轮次和加速收敛来提升训练效率。通过将客户端可用性历史纳入选择决策，MDA 相较于原始随机选择可将训练时间减少最多 6.5%，并与资源感知方法（如 TiFL）结合时可进一步实现最高 16% 的性能提升。

ABSTRACT

Recently, a new distributed learning scheme called Federated Learning (FL) has been introduced. FL is designed so that server never collects user-owned data meaning it is great at preserving privacy. FL's process starts with the server sending a model to clients, then the clients train that model using their data and send the updated model back to the server. Afterward, the server aggregates all the updates and modifies the global model. This process is repeated until the model converges. This study focuses on an FL setting called cross-device FL, which trains based on a large number of clients. Since many devices may be unavailable in cross-device FL, and communication between the server and all clients is extremely costly, only a fraction of clients gets selected for training at each round. In vanilla FL, clients are selected randomly, which results in an acceptable accuracy but is not ideal from the overall training time perspective, since some clients are slow and can cause some training rounds to be slow. If only fast clients get selected the learning would speed up, but it will be biased toward only the fast clients' data, and the accuracy degrades. Consequently, new client selection techniques have been proposed to improve the training time by considering individual clients' resources and speed. This paper introduces the first availability-aware selection strategy called MDA. The results show that our approach makes learning faster than vanilla FL by up to 6.5%. Moreover, we show that resource heterogeneity-aware techniques are effective but can become even better when combined with our approach, making it faster than the state-of-the-art selectors by up to 16%. Lastly, our approach selects more unique clients for training compared to client selectors that only select fast clients, which reduces our technique's bias.

研究动机与目标

• 解决跨设备联邦学习中客户端可用性带来的关键挑战，其中不可靠的边缘设备可能导致训练轮次停滞。
• 指出联邦学习中原始随机客户端选择方法未能同时考虑客户端可用性与资源异构性，导致训练效率低下和超时增加。
• 提出 MDA（Must Detect the Availability），这是首个明确设计用于根据历史可用性优先选择客户端的客户端选择策略，以减少训练过程中的失败。
• 证明将可用性感知与资源感知选择（如 TiFL）结合可实现更优性能，使收敛速度超越现有最先进技术。
• 通过选择更广泛的唯一客户端集合，提升公平性与模型准确率，减少对仅快速或高度可用设备的偏向。

提出的方法

• 利用来自 10 万条真实世界移动设备轨迹的历史运行时间数据，对客户端可用性进行建模，以预测未来可用性。
• 提出一种客户端选择函数，优先选择历史可用性高且具备足够计算能力的客户端。
• 将 MDA 集成到 FedML 框架中，模拟在 CIFAR-10 和 FEMNIST 数据集上，于不同可用性条件（高、平均、低）下的跨设备联邦学习。
• 在受控模拟环境下，将 MDA 与原始随机选择及最先进选择器（FedCS、TiFL、Oort、RBCS-F、Power-of-Choice）进行对比。
• 将 MDA 与 TiFL 结合，构建混合选择器（TiFL-MDA），联合优化可用性与资源效率。
• 采用超时机制衡量训练可靠性，并量化因客户端无响应导致的失败轮次数量。

实验结果

研究问题

• RQ1 客户端可用性波动如何影响跨设备联邦学习中的训练时间和模型准确率？
• RQ2 与随机选择相比，可用性感知的客户端选择策略是否能减少失败训练轮次并提升收敛速度？
• RQ3 MDA 在训练效率与可靠性方面与现有最先进资源感知客户端选择技术相比表现如何？
• RQ4 将可用性感知与资源异构性感知相结合，能在多大程度上进一步提升训练性能？
• RQ5 MDA 是否通过包含更多样化的客户端，减少了仅选择快速客户端策略带来的选择偏差？

主要发现

• 低可用性环境下，联邦学习训练时间相比高可用性场景最多延长 10%，模型准确率最多下降 5%。
• 与原始随机客户端选择相比，MDA 最多可将训练时间减少 6.5%，并使超时轮次最多减少 38%。
• 最先进方法 TiFL 的表现优于 MDA 单独使用，因其聚焦于资源效率，最多可将训练时间减少 60%。
• 将 MDA 与 TiFL 结合（即 TiFL-MDA）相比 TiFL 单独使用，训练速度提升 16%，成为所有评估技术中最快的选择器。
• 与仅选择快速客户端的策略相比，MDA 选择的客户端集合更具多样性，减少了偏差，提升了模型更新的公平性。
• 可用性历史是训练可靠性的关键因素；忽略它会导致真实边缘环境中性能显著下降。