[论文解读] Federated Learning for Internet of Things: Applications, Challenges, and Opportunities

Tuo Zhang, Lei Gao+4 more|arXiv (Cornell University)|Nov 15, 2021

Privacy-Preserving Technologies in Data被引用 24

一句话总结

本文提出联邦学习（FL）作为一种保护隐私且可扩展的物联网（IoT）系统解决方案，可在不集中原始数据的情况下实现协作式模型训练。它识别出在物联网上部署联邦学习的七个关键挑战——如通信开销、设备异构性以及安全聚合——并概述了轻量级协议、标准化工具和边缘优化框架的机遇，以实现实际部署。

ABSTRACT

Billions of IoT devices will be deployed in the near future, taking advantage of faster Internet speed and the possibility of orders of magnitude more endpoints brought by 5G/6G. With the growth of IoT devices, vast quantities of data that may contain users' private information will be generated. The high communication and storage costs, mixed with privacy concerns, will increasingly challenge the traditional ecosystem of centralized over-the-cloud learning and processing for IoT platforms. Federated Learning (FL) has emerged as the most promising alternative approach to this problem. In FL, training data-driven machine learning models is an act of collaboration between multiple clients without requiring the data to be brought to a central point, hence alleviating communication and storage costs and providing a great degree of user-level privacy. However, there are still some challenges existing in the real FL system implementation on IoT networks. In this paper, we will discuss the opportunities and challenges of FL in IoT platforms, as well as how it can enable diverse IoT applications. In particular, we identify and discuss seven critical challenges of FL in IoT platforms and highlight some recent promising approaches towards addressing them.

研究动机与目标

• 应对由于大规模数据生成导致的物联网中集中式数据处理带来的高通信成本和隐私风险问题。
• 识别并分析阻碍物联网网络中实际联邦学习部署的七个关键挑战。
• 突出展示专为资源受限的物联网设备量身定制的轻量级、安全且可扩展的联邦学习系统的机会。
• 推动标准化和工具开发，以加速物联网生态系统中联邦学习的采用。
• 通过系统级设计洞察，弥合理论联邦学习框架与实际物联网部署之间的差距。

提出的方法

• 提出一种分布式联邦学习框架，其中客户端（物联网设备）在本地训练模型，并仅将模型更新发送至中心服务器，从而确保原始数据保留在边缘设备上。
• 基于成对随机种子协商和秘密共享，分析安全聚合协议，以保护模型更新并确保对设备掉线的鲁棒性。
• 评估系统级挑战，如设备异构性、通信瓶颈以及低端物联网硬件的资源限制。
• 回顾现有的联邦学习工具（如TensorFlow Federated、PySyft和FedML），并主张扩展这些工具以支持边缘联邦学习，实现高效训练与部署。
• 提出FedIoT作为成熟的系统框架，支持在Raspberry Pi和NVIDIA Jetson Nano等边缘设备上部署联邦学习。
• 建议扩展边缘推理框架（如TensorFlow Lite、TVM）以支持联邦学习训练，解决当前工具链中的关键缺口。

Figure 1: Federated Learning for Internet of Things (IoT).

实验结果

研究问题

• RQ1 联邦学习如何在大规模物联网部署中有效应对隐私保护和通信开销问题？
• RQ2 在异构且资源受限的物联网设备上部署联邦学习时，其关键系统级挑战是什么？
• RQ3 如何优化安全聚合以降低低端物联网设备上的计算开销？
• RQ4 标准化工具和仿真环境在加速物联网联邦学习研究与部署中扮演什么角色？
• RQ5 现有边缘人工智能框架如何扩展以支持联邦学习训练，而不仅限于推理？

主要发现

• 联邦学习通过确保原始数据永不离开物联网设备，显著提升了用户隐私，最大限度降低了数据泄露风险。
• 联邦学习中的协作训练可实现比单个设备独立训练更高的模型性能，尤其在本地数据有限时更为明显。
• 联邦学习的分布式特性通过降低通信和存储成本，提升了可扩展性，对低带宽物联网网络尤为有利。
• 当前的安全聚合协议由于需要重建掩码，计算开销较高，尤其在用户掉线时更为严重，成为低端设备的性能瓶颈。
• 现有的联邦学习工具（如FedML和TensorFlow Federated）尚未针对边缘联邦学习训练进行优化，导致实际部署中存在关键缺口。
• 将边缘推理框架（如TensorFlow Lite和TVM）扩展以支持联邦学习训练，可为物联网系统带来显著的性能与效率提升。

Figure 2: Advantages of Federated Learning for IoT.