[论文解读] RPN: A Residual Pooling Network for Efficient Federated Learning

Anbu Huang, Yuanyuan Chen+3 more|arXiv (Cornell University)|Jan 23, 2020

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出残差池化网络（RPN），一种用于联邦学习的新型端到端压缩策略，通过选择性地近似和剪枝模型参数来降低通信成本。RPN在图像分类任务中实现了高达80%的参数传输减少，准确率仅下降1%；在语义分割任务中实现了高达44%的减少，同时在多种基于CNN的任务中保持了接近最先进水平的性能。

ABSTRACT

Federated learning is a distributed machine learning framework which enables different parties to collaboratively train a model while protecting data privacy and security. Due to model complexity, network unreliability and connection in-stability, communication cost has became a major bottleneck for applying federated learning to real-world applications. Current existing strategies are either need to manual setting for hyperparameters, or break up the original process into multiple steps, which make it hard to realize end-to-end implementation. In this paper, we propose a novel compression strategy called Residual Pooling Network (RPN). Our experiments show that RPN not only reduce data transmission effectively, but also achieve almost the same performance as compared to standard federated learning. Our new approach performs as an end-to-end procedure, which should be readily applied to all CNN-based model training scenarios for improvement of communication efficiency, and hence make it easy to deploy in real-world application without much human intervention.

研究动机与目标

• 解决由于频繁交换模型参数而导致的联邦学习中通信成本过高的瓶颈问题。
• 开发一种通用的、端到端的压缩策略，以减少上传和下载的通信流量，且无需手动调整超参数。
• 在显著减小模型大小和传输量的同时，保持高模型性能，适用于基于CNN的联邦学习。
• 通过避免复杂、多步骤的压缩流水线，实现在真实系统中的实际部署。

提出的方法

• RPN引入了一种残差池化机制，选择性地保留并近似关键模型参数，从而在每次通信轮次中减少传输的参数数量。
• 该方法以可微分、端到端可训练的方式执行参数选择与近似，支持模型准确率与通信效率的联合优化。
• RPN作为插件式压缩层集成于CNN架构中，可无缝嵌入现有联邦学习框架。
• 该方法避免依赖加密方法，转而专注于结构化参数剪枝与近似，以减少数据量。
• 压缩在模型上传（从客户端到服务器）和模型下载（从服务器到客户端）过程中均应用，最大限度降低总通信开销。
• 该框架采用端到端训练，无需手动配置或单独的优化阶段。

实验结果

研究问题

• RQ1 能否设计一种压缩策略，在不牺牲模型性能的前提下，同时降低联邦学习中的上传和下载通信成本？
• RQ2 能否开发一种端到端可训练的压缩机制，避免手动调整超参数和复杂的多阶段流水线？
• RQ3 在多种计算机视觉任务中，模型大小和通信量可被压缩到何种程度，同时仍保持高准确率？
• RQ4 该方法在涉及分类、目标检测和语义分割的真实联邦学习场景中效果如何？

主要发现

• 在MNIST分类任务中，RPN将模型参数从61,895,776减少到12,382,560，实现80%的传输量减少，准确率仅从0.7077降至0.7002 mAP（下降1%）。
• 在PASCAL VOC上的YOLOv3目标检测任务中，RPN实现80%的参数减少，同时保持了原始mAP的98.9%，表明在复杂模型中具有出色的性能保持能力。
• 在使用FCN-ResNet50的语义分割任务中，RPN将参数从23,577,621减少到13,325,281（减少44%），mIoU仅下降2.6%，像素准确率下降1.16%。
• 该方法在训练初期表现出稳定的收敛性，性能波动极小，表明其在真实部署中具备鲁棒性与可靠性。
• RPN在多种任务中——包括分类、目标检测和语义分割——均表现出一致的高性能，证实其在基于CNN的联邦学习中的通用性。