[论文解读] FedVision: An Online Visual Object Detection Platform Powered by Federated Learning

Yang Liu, Anbu Huang+8 more|arXiv (Cornell University)|Jan 17, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用 29

一句话总结

FedVision 是一个用于视觉目标检测的端到端联邦学习平台，使组织能够在不共享原始数据的情况下，基于本地存储的视频数据训练高精度的目标检测模型。通过采用基于 YOLOv3 的联邦平均算法，该平台在四个月内为三家客户企业实现了显著的效率提升和成本降低，标志着联邦学习在计算机视觉领域的首次工业级部署。

ABSTRACT

Visual object detection is a computer vision-based artificial intelligence (AI) technique which has many practical applications (e.g., fire hazard monitoring). However, due to privacy concerns and the high cost of transmitting video data, it is highly challenging to build object detection models on centrally stored large training datasets following the current approach. Federated learning (FL) is a promising approach to resolve this challenge. Nevertheless, there currently lacks an easy to use tool to enable computer vision application developers who are not experts in federated learning to conveniently leverage this technology and apply it in their systems. In this paper, we report FedVision - a machine learning engineering platform to support the development of federated learning powered computer vision applications. The platform has been deployed through a collaboration between WeBank and Extreme Vision to help customers develop computer vision-based safety monitoring solutions in smart city applications. Over four months of usage, it has achieved significant efficiency improvement and cost reduction while removing the need to transmit sensitive data for three major corporate customers. To the best of our knowledge, this is the first real application of FL in computer vision-based tasks.

研究动机与目标

• 解决由于隐私法规限制而无法共享敏感视频数据时，训练高精度视觉目标检测模型的挑战。
• 克服集中式训练的局限性，包括高昂的通信成本、数据泄露风险以及模型更新延迟。
• 开发一个用户友好的平台，使联邦学习领域的非专家能够轻松部署和管理基于联邦学习的计算机视觉应用。
• 通过无需组织间数据传输的在线联邦训练，实现实时、持续的模型优化。
• 展示联邦学习在真实工业应用中的可行性与优势，特别是在智慧城市建设安全监控领域。

提出的方法

• 设计了一种模块化、基于任务和用户角色的平台架构，以支持关注点分离并实现可扩展的维护。
• 实现了一种基于 YOLOv3 的专有联邦视觉目标检测框架，针对联邦学习进行了优化，支持本地模型训练与参数聚合。
• 采用联邦平均（FedAvg）作为核心模型聚合算法，在不访问原始数据的前提下，于中心服务器上合并客户端更新。
• 提供简化的用户界面，抽象联邦学习的复杂性，使用户无需具备联邦学习专业知识，仅通过标注的本地数据集即可启动训练。
• 集成安全通信与访问控制机制，确保模型训练过程中数据隐私与系统完整性。
• 支持多客户端端到端的联合训练，具备异步更新机制，并通过仪表板实现实时监控。

实验结果

研究问题

• RQ1 联邦学习能否在具有隐私敏感数据的真实工业场景中有效应用于视觉目标检测？
• RQ2 如何设计一个联邦学习平台，使其对计算机视觉与联邦学习领域的非专家开发者友好？
• RQ3 与传统的集中式训练相比，联邦学习在安全监控应用中能带来哪些性能与效率的提升？
• RQ4 在持续积累数据与模型更新的长期运行中，平台如何保持模型精度与系统稳定性？
• RQ5 在多组织、实时的计算机视觉系统中部署联邦学习面临哪些实际挑战与优势？

主要发现

• FedVision 成功使三家大型企业客户在不传输敏感视频数据的前提下，开发了智慧城市建设中的安全监控解决方案。
• 在四个月的部署期间，平台显著提升了客户的运营效率并降低了成本，同时确保符合数据隐私法规要求。
• 通过使用本地数据集进行联邦训练，平台实现了有效的模型收敛，证明了在不共享数据的前提下实现高精度目标检测的可行性。
• 自2019年5月部署以来，未发生任何AI维护任务，表明平台架构具有出色的系统稳定性和模块化特性。
• 平台的模块化设计允许在不中断AI引擎或模型训练流程的前提下，对任务、访问权限和参数进行更新。
• 据作者所知，这是联邦学习在基于计算机视觉的任务中首次实现工业级应用，为安全关键领域中的隐私保护人工智能树立了先例。