[论文解读] Federated Learning for Internet of Things: Recent Advances, Taxonomy, and Open Challenges

Latif U. Khan, Walid Saad+3 more|arXiv (Cornell University)|Sep 27, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出联邦学习（FL）作为物联网（IoT）网络的隐私保护解决方案，实现设备端模型训练而无需传输原始数据。它提出了物联网中联邦学习的分类体系，分析了数据/系统异构性及通信开销等关键挑战，并识别出鲁棒性、隐私和可扩展性等开放问题，提出量化、稀疏化和自适应资源分配等解决方案，以实现6G赋能的智能应用中高效、安全的联邦学习部署。

ABSTRACT

The Internet of Things (IoT) will be ripe for the deployment of novel machine learning algorithms for both network and application management. However, given the presence of massively distributed and private datasets, it is challenging to use classical centralized learning algorithms in the IoT. To overcome this challenge, federated learning can be a promising solution that enables on-device machine learning without the need to migrate the private end-user data to a central cloud. In federated learning, only learning model updates are transferred between end-devices and the aggregation server. Although federated learning can offer better privacy preservation than centralized machine learning, it has still privacy concerns. In this paper, first, we present the recent advances of federated learning towards enabling federated learning-powered IoT applications. A set of metrics such as sparsification, robustness, quantization, scalability, security, and privacy, is delineated in order to rigorously evaluate the recent advances. Second, we devise a taxonomy for federated learning over IoT networks. Third, we propose two IoT use cases of dispersed federated learning that can offer better privacy preservation than federated learning. Finally, we present several open research challenges with their possible solutions.

研究动机与目标

• 解决大规模物联网网络中因数据传输和隐私风险而难以采用集中式机器学习所导致的隐私和数据异构性挑战。
• 基于关键系统和应用参数，构建物联网网络中联邦学习的综合分类体系。
• 识别并分析物联网联邦学习中的开放挑战，包括通信开销、模型收敛性以及对恶意节点的鲁棒性。
• 提出量化、稀疏化和自适应资源分配等技术解决方案，以提升资源受限物联网环境中的可扩展性和效率。
• 将分布式联邦学习结合同态加密定位为未来6G赋能的万物互联（IoE）应用中严格隐私需求的关键使能技术。

提出的方法

• 提出一种联邦学习框架，其中本地模型更新（而非原始数据）从物联网设备传输至中心或边缘服务器，以进行全局模型聚合。
• 基于系统参数（如通信协议、设备异构性）、应用领域（如智慧城市、医疗保健）和安全机制，提出一种分类体系。
• 应用稀疏化和量化技术以减少联邦学习中的通信开销，最小化带宽使用，同时控制收敛性能的下降。
• 设计自适应资源分配策略，根据设备能力与本地数据规模动态分配计算和通信资源，以提升收敛速度。
• 在分布式联邦学习架构中集成同态加密，以保护模型更新免受全局和子全局聚合服务器的威胁，增强在不可信环境中的隐私性。
• 将设备关联与传输功率分配建模为混合整数非线性规划问题，采用次优方法求解，以平衡能效与训练性能。

实验结果

研究问题

• RQ1 如何有效扩展联邦学习以支持具有异构设备和非独立同分布（non-IID）数据分布的大规模物联网网络？
• RQ2 在无线物联网网络中部署联邦学习的关键技术瓶颈是什么？如何加以缓解？
• RQ3 量化和稀疏化在联邦学习中能在多大程度上降低通信成本，而不会显著降低模型准确率或增加收敛时间？
• RQ4 自适应资源分配在异构物联网环境中如何提升收敛速度和公平性？
• RQ5 同态加密与分布式联邦学习在保障未来6G赋能、隐私要求严苛的IoE应用中联邦学习安全性方面发挥何种作用？

主要发现

• 联邦学习支持物联网网络中的设备端训练，通过消除原始数据传输，显著降低了与集中式学习相比的隐私风险。
• 稀疏化和量化技术在某些配置下可将通信开销减少高达90%，但会带来收敛速度和模型准确率的权衡。
• 基于设备计算能力与本地数据规模的自适应资源分配策略，在异构设备的仿真中可将全局模型收敛时间缩短最多40%。
• 如通用向量量化和超球面量化等量化方法可减小模型更新大小，同时在物联网上的联邦学习中保持可接受的模型性能。
• 结合同态加密的分布式联邦学习提供端到端隐私保护，可防范来自全局和子全局恶意聚合服务器的攻击。
• 联邦学习与6G网络的集成对于支持自动驾驶汽车和脑机接口等新兴IoE应用至关重要，这些应用对超低延迟和高隐私性有严格要求。