[论文解读] Loss Tolerant Federated Learning

Pengyuan Zhou, Pei Fang+1 more|arXiv (Cornell University)|May 8, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用 8

一句话总结

本文提出损失容忍联邦学习（LT-FL）使用丢弃法（TRA）主动忽略数据包丢失，使所有低带宽客户端都能参与训练，同时保持模型准确性和公平性。与基于阈值的方法相比，TRA在10%–30%的数据包丢失条件下，通过结合公平性感知算法（如q-FedAvg和pFedMe），可将全局模型性能提升高达20%。

ABSTRACT

Federated learning has attracted attention in recent years for collaboratively training data on distributed devices with privacy-preservation. The limited network capacity of mobile and IoT devices has been seen as one of the major challenges for cross-device federated learning. Recent solutions have been focusing on threshold-based client selection schemes to guarantee the communication efficiency. However, we find this approach can cause biased client selection and results in deteriorated performance. Moreover, we find that the challenge of network limit may be overstated in some cases and the packet loss is not always harmful. In this paper, we explore the loss tolerant federated learning (LT-FL) in terms of aggregation, fairness, and personalization. We use ThrowRightAway (TRA) to accelerate the data uploading for low-bandwidth-devices by intentionally ignoring some packet losses. The results suggest that, with proper integration, TRA and other algorithms can together guarantee the personalization and fairness performance in the face of packet loss below a certain fraction (10%-30%).

研究动机与目标

• 探究跨设备联邦学习中的网络容量限制是否被高估，以及基于阈值的客户端选择是否引入偏差。
• 解决偏差客户端选择对联邦学习中模型公平性、准确性和个性化的影响。
• 提出并评估TRA（丢弃法）作为一种损失容忍机制，使低带宽客户端即使在数据包丢失情况下也能参与训练。
• 将TRA与最先进的聚合、公平性和个性化算法结合，以在真实网络条件下提升性能。
• 证明TRA可在仅对个性化模型性能造成轻微损失的前提下，提升全局模型的准确性和公平性。

提出的方法

• 使用追踪驱动分析评估真实世界网络追踪数据，评估数据包丢失对联邦学习的实际影响。
• 提出TRA（丢弃法），一种通过主动丢弃丢失数据包来加速低带宽设备数据上传的技术。
• 修改聚合算法，通过基于剩余数据包的轻量级重计算来补偿丢失的数据。
• 将TRA与q-FedAvg结合，应用α-公平性重加权，优先考虑丢失率较高的客户端以缓解TRA的影响。
• 将TRA与pFedMe结合，在接受个性化模型准确率小幅下降的同时保持全局模型性能。
• 使用开源代码库实现并评估组合算法，以在合成与真实场景中验证性能。

实验结果

研究问题

• RQ1 联邦学习中网络容量限制的挑战是否被高估，特别是数据包丢失对实际性能下降的影响如何？
• RQ2 基于阈值的客户端选择对联邦学习中公平性、准确性和个性化有何负面影响？
• RQ3 通过TRA实现有意的数据包丢失容忍，是否能在不降低整体系统可靠性的情况下提升模型性能与公平性？
• RQ4 当TRA与公平性感知（如q-FedAvg）和个性化感知（如pFedMe）联邦学习算法结合时，其表现如何？
• RQ5 在不同数据包丢失率下，使用TRA时全局模型准确率与个性化模型准确率之间的权衡是什么？

主要发现

• TRA-q-FedAvg相比基于阈值设置的pFedMe，全局模型准确率最高提升20%，尤其在10%–30%数据包丢失条件下表现更优。
• 在Synthetic(2,2)数据集上，70%客户端符合条件时，TRA-q-FedAvg实现平均69.72%的准确率，而有偏见的q-FedAvg仅为62.34%，最佳/最差准确率比为100%/9.81%。
• TRA-pFedMe平均个性化模型准确率仅降低1%，但相比标准pFedMe，全局模型准确率最高提升20%。
• TRA-q-FedAvg在10%数据包丢失下实现61.63%的平均准确率，最佳/最差比为100%/6.01%，优于有偏见的q-FedAvg（平均55.00%，最佳/最差比为100%/0）。
• 当TRA与pFedMe结合时，其性能对超参数敏感，表明仍需进一步优化。
• 单独使用TRA无法提升FedAvg在数据包丢失条件下的性能，表明必须通过重加权（如q-FedAvg）进行补偿。