[论文解读] Model Pruning Enables Localized and Efficient Federated Learning for Yield Forecasting and Data Sharing

Andy Li, Milan Marković+2 more|arXiv (Cornell University)|Apr 19, 2023

Privacy-Preserving Technologies in Data参考文献 57被引用 4

一句话总结

本文提出联邦剪枝（FedPruning），一种通信高效的联邦学习框架，通过在聚合前对客户端模型应用神经网络剪枝，实现在本地进行隐私保护的模型训练，用于大豆产量预测。该方法相较于FedAvg，将本地推理性能提升15.5%–20%，模型大小最多减少84%，通信成本降低57.1%–64.7%。

ABSTRACT

Federated Learning (FL) presents a decentralized approach to model training in the agri-food sector and offers the potential for improved machine learning performance, while ensuring the safety and privacy of individual farms or data silos. However, the conventional FL approach has two major limitations. First, the heterogeneous data on individual silos can cause the global model to perform well for some clients but not all, as the update direction on some clients may hinder others after they are aggregated. Second, it is lacking with respect to the efficiency perspective concerning communication costs during FL and large model sizes. This paper proposes a new technical solution that utilizes network pruning on client models and aggregates the pruned models. This method enables local models to be tailored to their respective data distribution and mitigate the data heterogeneity present in agri-food data. Moreover, it allows for more compact models that consume less data during transmission. We experiment with a soybean yield forecasting dataset and find that this approach can improve inference performance by 15.5% to 20% compared to FedAvg, while reducing local model sizes by up to 84% and the data volume communicated between the clients and the server by 57.1% to 64.7%.

研究动机与目标

• 解决农业食品应用中联邦学习面临的数据异构性挑战，其中不同农场的客户端数据分布存在显著差异。
• 减少联邦学习中的通信开销和模型大小，以支持在农村农业环境中资源受限的边缘设备上的部署。
• 通过本地化剪枝，使客户端模型能够适应其独特的数据分布，从而提升本地推理性能。
• 证明在联邦训练过程中进行剪枝可同时提升模型效率与性能，优于标准的FedAvg方法。
• 在不共享原始数据的前提下，实现农场之间的安全、去中心化协作，支持可持续且透明的农业食品体系。

提出的方法

• 在每轮联邦学习中，于模型聚合前对各客户端模型应用结构化重要性剪枝，以减少模型大小和通信成本。
• 在客户端本地非独立同分布（non-IID）数据上独立训练客户端模型，使其通过剪枝学习到独特的、与数据相关的表征。
• 仅在中央服务器聚合剪枝后的客户端模型以形成全局模型，从而保护隐私并减少数据传输量。
• 采用剪枝策略，在保持模型性能的同时最大化稀疏度，剪枝按客户端基于本地数据特征进行。
• 将剪枝集成到FedAvg框架中，形成一种新算法FedPruning，保留FedAvg的通信效率，同时提升本地性能。
• 应用剪枝策略（如基于重要性的方法）以移除低重要性权重，生成紧凑、节能的模型，适用于边缘设备部署。

实验结果

研究问题

• RQ1 在联邦学习中对模型进行剪枝，相较于标准的FedAvg，能否在非独立同分布（non-IID）的农业数据上提升本地推理性能？
• RQ2 在不牺牲性能的前提下，剪枝在联邦产量预测中最多能将模型大小和通信成本降低多少？
• RQ3 本地化剪枝是否能在农业食品应用中实现对客户端特定数据分布的更好泛化？
• RQ4 在真实世界产量预测任务中，剪枝后的联邦模型性能与集中式训练基线相比如何？
• RQ5 FedPruning能否在农村低带宽农业环境中有效部署于边缘设备？

主要发现

• 在大豆产量预测数据集上，FedPruning在多个年份和剪枝策略下，相较于FedAvg，将本地推理性能提升了15.5%至20%。
• 与未剪枝模型相比，该方法将本地模型大小最多减少了84%，显著提升了内存和能效效率。
• 由于每轮联邦学习中传输的模型参数更小，通信成本降低了57.1%至64.7%。
• 在大多数设置中，FedPruning的性能与集中式训练基线相当或略优，尽管采用的是去中心化训练与剪枝。
• 结果支持假设：适度剪枝的模型在分布式设置中，即使在非独立同分布数据下，也能优于未剪枝模型。
• 由于计算和通信需求降低，该方法使在农村农业食品环境中边缘设备的实际部署成为可能。