[论文解读] Heterogeneity-Aware Federated Learning.

Chenxu Yang, QiPeng Wang+4 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文提出 FLASH，首个具备异构感知能力的联邦学习平台，旨在系统性地研究设备级异构性（如硬件差异和用户行为差异）对联邦学习性能的影响。基于来自136,000名用户的实际数据追踪，研究发现异构性显著降低联邦学习性能，并使常见优化方法失效，因此亟需量身定制的系统配置。

ABSTRACT

Federated learning (FL) is an emerging distributed machine learning paradigm that stands out with its inherent privacy-preserving advantages. Heterogeneity is one of the core challenges in FL, which resides in the diverse user behaviors and hardware capacity across devices who participate in the training. Heterogeneity inherently exerts a huge influence on the FL training process, e.g., causing device unavailability. However, existing FL literature usually ignores the impacts of heterogeneity. To fill in the knowledge gap, we build FLASH, the first heterogeneity-aware FL platform. Based on FLASH and a large-scale user trace from 136k real-world users, we demonstrate the usefulness of FLASH in anatomizing the impacts of heterogeneity in FL by exploring three previously unaddressed research questions: whether and how can heterogeneity affect FL performance; how to configure a heterogeneity-aware FL system; and what are heterogeneity's impacts on existing FL optimizations. It shows that heterogeneity causes nontrivial performance degradation in FL from various aspects, and even invalidates some typical FL optimizations.

研究动机与目标

• 为解决联邦学习（FL）研究中关于设备异构性（包括多样化硬件和用户行为）影响的关键空白。
• 探究异构性如何影响联邦学习训练性能，包括设备不可用性和收敛性能下降。
• 探索如何配置异构感知型联邦学习系统以提升鲁棒性和效率。
• 评估异构性对现有联邦学习优化技术的影响，揭示标准方法可能失效的问题。

提出的方法

• 构建了 FLASH，一种新颖的异构感知联邦学习平台，旨在模拟和分析联邦训练中的真实设备异构性。
• 收集并分析了来自136,000名真实用户的大型用户追踪数据，以建模真实的设备行为与硬件多样性。
• 在 FLASH 中设计系统级配置，以反映设备可用性、计算能力及通信带宽的差异。
• 在异构条件下评估标准联邦学习优化技术（如 FedAvg、个性化联邦学习）的鲁棒性。
• 采用追踪驱动的仿真方法，隔离并测量异构性在多个指标上导致的性能下降。
• 通过向训练流程中注入受控异构性，实现对研究问题的系统性探索。

实验结果

研究问题

• RQ1 在真实世界环境中，设备异构性在多大程度上会降低联邦学习性能？
• RQ2 联邦学习系统应如何配置，才能有效应对设备行为与硬件的异构性？
• RQ3 现有联邦学习优化技术在异构条件下表现如何，其有效性是否依然成立？

主要发现

• 异构性在多个维度上导致联邦学习性能显著下降，包括收敛速度和模型准确率。
• 由于异构性导致的设备不可用性显著干扰训练过程，造成收敛时间大幅延长。
• 在真实异构条件下，标准联邦学习优化方法（如 FedAvg）变得无效或次优。
• 异构性破坏了众多现有联邦学习算法的假设，使其在实践中失去理论保证。
• 系统配置必须显式针对设备多样性进行调优，才能实现稳定高效的联邦学习训练。
• 异构性的影响并非均匀分布，其影响程度取决于设备能力分布与用户活动模式的差异。