[论文解读] Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data

Chengxu Yang, Qipeng Wang+5 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用 10

一句话总结

本文基于来自136,000台设备的真实世界智能手机数据，首次对联邦学习中硬件与状态异构性的影响进行了大规模实证研究。提出了一个异构性感知的联邦学习平台，并表明异构性导致准确率最高下降9.2%，训练时间最长延长2.32倍，设备故障和参与者偏差是主要的性能下降因素。

ABSTRACT

Federated learning (FL) is an emerging, privacy-preserving machine learning paradigm, drawing tremendous attention in both academia and industry. A unique characteristic of FL is heterogeneity, which resides in the various hardware specifications and dynamic states across the participating devices. Theoretically, heterogeneity can exert a huge influence on the FL training process, e.g., causing a device unavailable for training or unable to upload its model updates. Unfortunately, these impacts have never been systematically studied and quantified in existing FL literature. In this paper, we carry out the first empirical study to characterize the impacts of heterogeneity in FL. We collect large-scale data from 136k smartphones that can faithfully reflect heterogeneity in real-world settings. We also build a heterogeneity-aware FL platform that complies with the standard FL protocol but with heterogeneity in consideration. Based on the data and the platform, we conduct extensive experiments to compare the performance of state-of-the-art FL algorithms under heterogeneity-aware and heterogeneity-unaware settings. Results show that heterogeneity causes non-trivial performance degradation in FL, including up to 9.2% accuracy drop, 2.32x lengthened training time, and undermined fairness. Furthermore, we analyze potential impact factors and find that device failure and participant bias are two potential factors for performance degradation. Our study provides insightful implications for FL practitioners. On the one hand, our findings suggest that FL algorithm designers consider necessary heterogeneity during the evaluation. On the other hand, our findings urge system providers to design specific mechanisms to mitigate the impacts of heterogeneity.

研究动机与目标

• 使用大规模智能手机数据，系统性地刻画联邦学习中真实世界硬件与状态异构性的影响。
• 解决现有联邦学习研究中缺乏实证验证的问题，这些研究通常依赖于理想化、同质化的模拟环境。
• 在异构性感知与异构性非感知设置下，评估最先进联邦学习算法的性能，以量化性能下降程度。
• 识别真实联邦学习部署中性能下降的根本原因，如设备故障和参与者偏差。
• 为联邦学习算法设计者和系统提供商提供可操作的见解，以缓解由异构性引发的问题。

提出的方法

• 通过在东南亚和拉丁美洲开展特定应用程序的测量活动，从136,000台智能手机中收集了真实设备状态轨迹（如CPU使用率、网络状态、电池状态等）。
• 构建了一个符合标准联邦学习协议的异构性感知联邦学习平台，同时整合了真实的设备异构性（硬件与动态状态）。
• 将设备状态轨迹与训练数据分布解耦，以在保留真实异构性模式的同时，使研究结果可推广至各类基准数据集。
• 通过大量实验，对比了在异构性感知与异构性非感知配置下联邦学习算法（如FedAvg、q-FedAvg）的表现。
• 使用M-Type数据集验证了解耦设计，确认异构性影响远超过数据分布偏移的影响。
• 分析了设备随时间的可用性与故障率，以量化其对收敛性和公平性的影响。

实验结果

研究问题

• RQ1 真实世界智能手机中的硬件与状态异构性如何影响联邦学习的收敛性和准确率？
• RQ2 与理想化模拟环境相比，现有最先进联邦学习算法在真实异构性环境下的性能退化程度如何？
• RQ3 在异构联邦学习环境中，设备故障与参与者偏差中，哪一个因素是性能退化的主导驱动因素？
• RQ4 将设备状态轨迹与数据分布解耦后，对实验结果的泛化能力有何影响？
• RQ5 观察到的性能退化模式是否可在真实世界联邦学习部署（如Google的联邦学习系统）中得到验证？

主要发现

• 真实世界智能手机中的异构性导致模型准确率相比理想化、同质化环境最高下降9.2%。
• 由于设备故障和参与不一致，训练收敛时间最长延长2.32倍，显著拖慢联邦学习进程。
• 状态异构性（如CPU使用率波动和网络不稳定）对性能退化的影响，比仅硬件差异的影响更为显著。
• 设备故障和参与者偏差被确认为导致联邦学习中模型准确率与公平性下降的两个主要因素。
• 性能退化现象与真实世界联邦学习部署（如Google的系统）保持一致，验证了该平台的真实性和可靠性。
• 即使最先进的联邦学习算法（如q-FedAvg）在真实异构性环境下也受到显著影响，表明在算法设计阶段需重新评估其鲁棒性。