[论文解读] FedCV: A Federated Learning Framework for Diverse Computer Vision Tasks

Chaoyang He, Alay Shah+8 more|arXiv (Cornell University)|Nov 22, 2021

Privacy-Preserving Technologies in Data参考文献 84被引用 42

一句话总结

FedCV 提供一个开源的联邦学习框架和基准套件，面向三项计算机视觉任务（图像分类、分割和目标检测），使在非 IID 数据和现实 CV 设置下对多种 FL 算法进行评估成为可能。

ABSTRACT

Federated Learning (FL) is a distributed learning paradigm that can learn a global or personalized model from decentralized datasets on edge devices. However, in the computer vision domain, model performance in FL is far behind centralized training due to the lack of exploration in diverse tasks with a unified FL framework. FL has rarely been demonstrated effectively in advanced computer vision tasks such as object detection and image segmentation. To bridge the gap and facilitate the development of FL for computer vision tasks, in this work, we propose a federated learning library and benchmarking framework, named FedCV, to evaluate FL on the three most representative computer vision tasks: image classification, image segmentation, and object detection. We provide non-I.I.D. benchmarking datasets, models, and various reference FL algorithms. Our benchmark study suggests that there are multiple challenges that deserve future exploration: centralized training tricks may not be directly applied to FL; the non-I.I.D. dataset actually downgrades the model accuracy to some degree in different tasks; improving the system efficiency of federated training is challenging given the huge number of parameters and the per-client memory cost. We believe that such a library and benchmark, along with comparable evaluation settings, is necessary to make meaningful progress in FL on computer vision tasks. FedCV is publicly available: https://github.com/FedML-AI/FedCV.

研究动机与目标

• 通过提供一个面向 CV 任务的统一 FL 框架，弥合联邦学习研究与计算机视觉应用之间的差距。
• 创建非 IID 基准和数据集，以在图像分类、分割和目标检测等任务上评估 FL 方法。
• 提供易于使用的 API、参考实现和多任务基准，以加速 CV 任务的 FL 研发。

提出的方法

• 提供一个基于 FedML 构建的统一 FedCV 框架，包含超越图像分类的 CV 任务模块（分割和检测）。
• 提供带有非 IID 分区的基准数据集和数据加载器，以模拟现实的联邦数据分布。
• 包括多种 FL 算法的参考实现（例如 FedAvg、FedOpt、FedNova、FedProx、FedMA、FedGKT、Split Learning、VFL、FedNAS、Turbo-Aggregate）并支持多 GPU 分布式训练。
• 提供易于使用的 API，使自定义 FL 算法开发和灵活的客户端-服务器通信协议成为可能。
• 支持面向 CV 任务的数据集/模型骨干（例如 CIFAR-100、GLD-23k、PASCAL VOC、COCO；EfficientNet、MobileNet、ViT；DeepLabV3+、UNet、YOLOv5）。
• 提供数据分布控制（通过基于 LDA 的分区实现非 IID），并评估集中训练技巧向 FL 的迁移性。

实验结果

研究问题

• RQ1 在非 IID 数据分布下，FL 算法在多样化的 CV 任务（分类、分割、检测）上的表现如何？
• RQ2 将集中式 CV 训练技巧应用于现实世界 CV 任务的 FL 时，存在哪些实际挑战？
• RQ3 系统效率、内存成本和通信开销如何影响跨多个任务和模型的联邦 CV 训练？
• RQ4 一个带基准测试的统一 FL 框架能否实现对 CV 联邦学习的有意义的比较和进展？

主要发现

• FedCV 展示了在统一框架和非 IID 基准下运行三个 CV 任务的 FL 的可行性。
• CV 任务中的非 IID 数据在不同程度上降低了模型准确率，强调了需要针对 FL 的训练策略。
• 集中式训练技巧并不总是能转化为 FL，且大型 CV 模型与每个客户端的内存成本使系统效率受到挑战。
• 基准在任务（分类、分割、检测）中展示了骨干选择、模型大小和通信轮次之间的权衡。
• 微调在某些 CV FL 设置中常常加速收敛、提升准确性，相较于从头开始训练，特别是在分类实验中。
• FedCV 提供一个具有多种 FL 算法和真实 CV 骨干网络的实用平台，以实现公平比较和更快的研究迭代。