[论文解读] Towards Flexible Device Participation in Federated Learning for Non-IID Data.

Yichen Ruan, Xiaoxi Zhang+2 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 1被引用 12

一句话总结

本文提出了一种灵活的联邦聚合方案，即使在设备间歇性参与、返回不完整更新或存在非独立同分布（non-IID）数据的异构情况下，也能确保收敛。通过分析在这些动态条件下的收敛性，该方法能够在无需严格参与约束的现实去中心化环境中实现稳健训练。

ABSTRACT

Traditional federated learning algorithms impose strict requirements on the participation rates of devices, which limit the potential reach of federated learning. In this paper, we extend the current learning paradigm and consider devices that may become inactive, compute incomplete updates, and leave or join in the middle of training. We derive analytical results to illustrate how the flexible participation of devices could affect the convergence when data is not independently and identically distributed (IID), and when devices are heterogeneous. This paper proposes a new federated aggregation scheme that converges even when devices may be inactive or return incomplete updates. We finally discuss practical research questions an operator would encounter during the training, and provide answers based on our convergence analysis.

研究动机与目标

• 解决传统联邦学习要求高且一致的设备参与率的局限性。
• 模拟设备的现实行为，如间歇性连接、不完整更新以及动态加入/离开。
• 在非独立同分布数据和设备异构性下，分析灵活参与条件下的收敛性特性。
• 开发一种实用的聚合方案，即使在设备动态变化和数据偏移的情况下也能保持模型收敛。

提出的方法

• 提出一种新颖的联邦聚合框架，可处理可能处于非活跃状态或返回部分更新的设备。
• 在非独立同分布数据和设备异构性条件下，推导出考虑可变参与率的理论收敛边界。
• 制定一种自适应聚合机制，根据可靠性和完整性对更新进行加权，即使存在缺失或部分贡献也能适用。
• 通过理论分析，建立在灵活设备参与条件下模型收敛的保证。
• 将设备异构性和数据偏移纳入收敛模型，以反映现实世界中的训练动态。
• 为运营商提供实用指导，以在训练过程中有效管理设备参与度和更新质量。

实验结果

研究问题

• RQ1 在非独立同分布数据下，灵活的设备参与（如间歇性连接或不完整更新）如何影响联邦学习的收敛性？
• RQ2 当设备在训练过程中加入、离开或提交部分更新时，何种聚合策略能确保收敛？
• RQ3 设备异构性和数据非独立同分布性如何与灵活参与相互作用，进而影响模型收敛？
• RQ4 在实际联邦学习系统中，运营商在管理动态设备参与时应考虑哪些实际操作因素？

主要发现

• 所提出的聚合方案在设备非活跃或提交不完整更新的情况下，仍能在非独立同分布数据分布下实现收敛。
• 理论分析证实，即使在设备动态参与和数据异构性条件下，收敛性依然得以保持。
• 该方法对设备掉线和部分更新具有鲁棒性，适用于实际部署。
• 基于收敛性分析得出的实用指导，有助于运营商有效管理设备参与度和更新质量。