[论文解读] Fusion of Federated Learning and Industrial Internet of Things: A Survey

M Parimala, Swarna Priya R.M.+5 more|arXiv (Cornell University)|Jan 4, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本综述提出将联邦学习（FL）全面集成到工业互联网（IIoT）系统中，以实现隐私保护的设备端机器学习。通过在边缘设备上本地训练模型并仅传输加密的模型更新，FL 减少了通信开销和数据泄露，显著提升了 IIoT 环境中的数据隐私性和系统鲁棒性。

ABSTRACT

Industrial Internet of Things (IIoT) lays a new paradigm for the concept of Industry 4.0 and paves an insight for new industrial era. Nowadays smart machines and smart factories use machine learning/deep learning based models for incurring intelligence. However, storing and communicating the data to the cloud and end device leads to issues in preserving privacy. In order to address this issue, federated learning (FL) technology is implemented in IIoT by the researchers nowadays to provide safe, accurate, robust and unbiased models. Integrating FL in IIoT ensures that no local sensitive data is exchanged, as the distribution of learning models over the edge devices has become more common with FL. Therefore, only the encrypted notifications and parameters are communicated to the central server. In this paper, we provide a thorough overview on integrating FL with IIoT in terms of privacy, resource and data management. The survey starts by articulating IIoT characteristics and fundamentals of distributive and FL. The motivation behind integrating IIoT and FL for achieving data privacy preservation and on-device learning are summarized. Then we discuss the potential of using machine learning, deep learning and blockchain techniques for FL in secure IIoT. Further we analyze and summarize the ways to handle the heterogeneous and huge data. Comprehensive background on data and resource management are then presented, followed by applications of IIoT with FL in healthcare and automobile industry. Finally, we shed light on challenges, some possible solutions and potential directions for future research.

研究动机与目标

• 为解决 IIoT 中的数据隐私问题，通过在设备端训练模型而不将原始数据传输至中心服务器来实现。
• 分析 FL 与 IIoT 集成的挑战，包括数据异构性、资源限制和安全威胁。
• 探索区块链、差分隐私和安全聚合等先进技术，以增强基于 FL 的 IIoT 系统中的信任与安全性。
• 评估 FL 在医疗和汽车等关键 IIoT 领域的应用，以实现实时、隐私感知的决策。
• 识别开放挑战并提出未来研究方向，以实现工业边缘环境中可扩展、高效且安全的 FL 部署。

提出的方法

• 提出一种 FL 框架，其中本地模型在 IIoT 边缘设备上使用本地数据进行训练，仅将模型参数（而非原始数据）传输至中心服务器。
• 集成差分隐私（DP）和安全聚合技术，以防止模型更新遭受推理攻击并保护用户级别的隐私。
• 采用基于区块链的架构，以确保模型聚合和客户端贡献追踪过程中的透明性、不可篡改性和可问责性。
• 利用轻量级机器学习模型（如 LSTM、DNN）以优化边缘设备性能，降低 IIoT 部署中的计算和能耗成本。
• 应用深度强化学习（DRL）和多智能体系统，以动态管理资源分配并提升异构 IIoT 网络中的模型收敛性。
• 提出一种基于默克尔树的链上验证机制，用于检测 FL 系统中客户端的数据中毒和模型篡改攻击。

实验结果

研究问题

• RQ1 如何有效将联邦学习集成到 IIoT 系统中，在保持模型准确性的前提下保护数据隐私？
• RQ2 在 FL 驱动的 IIoT 环境中，管理异构数据和有限资源的关键挑战是什么？
• RQ3 如何减轻基于 FL 的 IIoT 系统中数据中毒和模型反演攻击等安全威胁？
• RQ4 区块链和密码学技术在增强联邦 IIoT 学习框架中的信任与完整性方面发挥什么作用？
• RQ5 FL 在 IIoT 中最具前景的应用是什么？未来在可扩展且安全部署方面需要哪些研究方向？

主要发现

• 通过在设备端训练模型并仅传输模型更新而非原始数据，FL 显著降低了 IIoT 中的通信成本和能耗。
• 将区块链与 FL 集成可增强系统透明度，并支持对客户端贡献和模型完整性的链上验证。
• 差分隐私和安全聚合技术在模型聚合过程中有效保护用户数据免受推理攻击。
• 所提出的结合对抗性学习损失函数的联邦防御系统，显著提升了 IIoT 中使用的深度神经网络对对抗性攻击的鲁棒性。
• 在医疗和汽车行业的应用表明，FL 能够实现实时、隐私保护的决策，且模型准确性较高。
• 现有架构在处理短包通信和低延迟需求方面存在局限，凸显了对集成 6G 的 FL 优化 IIoT 系统的迫切需求。