[论文解读] Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT

Peiying Zhang, Chao Wang+2 more|arXiv (Cornell University)|Feb 3, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

该论文提出了一种基于深度强化学习（DRL）的联邦学习（FL）框架，以高效且私密地管理工业物联网（IIoT）设备生成的时间序列数据。通过使用基于DDPG的DRL选择高质量的IIoT节点进行模型聚合，该方法降低了通信开销并提升了训练效率，在独立同分布（IID）条件下于MNIST和Fashion-MNIST上实现了超过97%的准确率，在CIFAR-10上达到了85%的准确率。

ABSTRACT

The continuous expanded scale of the industrial Internet of Things (IIoT) leads to IIoT equipments generating massive amounts of user data every moment. According to the different requirement of end users, these data usually have high heterogeneity and privacy, while most of users are reluctant to expose them to the public view. How to manage these time series data in an efficient and safe way in the field of IIoT is still an open issue, such that it has attracted extensive attention from academia and industry. As a new machine learning (ML) paradigm, federated learning (FL) has great advantages in training heterogeneous and private data. This paper studies the FL technology applications to manage IIoT equipment data in wireless network environments. In order to increase the model aggregation rate and reduce communication costs, we apply deep reinforcement learning (DRL) to IIoT equipment selection process, specifically to select those IIoT equipment nodes with accurate models. Therefore, we propose a FL algorithm assisted by DRL, which can take into account the privacy and efficiency of data training of IIoT equipment. By analyzing the data characteristics of IIoT equipments, we use MNIST, fashion MNIST and CIFAR-10 data sets to represent the data generated by IIoT. During the experiment, we employ the deep neural network (DNN) model to train the data, and experimental results show that the accuracy can reach more than 97\%, which corroborates the effectiveness of the proposed algorithm.

研究动机与目标

• 解决无线网络中IIoT设备生成的海量、异构且对隐私敏感的数据管理挑战。
• 通过智能选择高质量客户端节点，降低联邦学习中IIoT的通信开销和模型训练偏差。
• 通过利用深度强化学习实现动态客户端选择，提升联邦学习中的模型聚合效率和收敛速度。
• 通过避免原始数据直接传输至中心服务器，确保数据隐私，保护用户机密性。
• 在真实世界IIoT类数据集（如MNIST、Fashion-MNIST和CIFAR-10）上验证所提出的DRL-FL框架的有效性。

提出的方法

• 在每个IIoT设备上部署基于DDPG的深度强化学习智能体，自主选择用于聚合的高质量本地模型。
• 使用中心化服务器基于本地数据质量对选定IIoT设备的模型更新进行加权平均聚合。
• 使用随机梯度下降（SGD）训练本地模型，批量大小为B，本地训练轮数为E，迭代更新全局模型。
• 根据本地模型性能指标（如损失、准确率）定义DRL智能体的状态空间，动作空间为选择参与聚合的客户端节点。
• 在DRL中使用奖励函数，鼓励高模型准确率和低通信成本，促进高效且准确的全局模型收敛。
• 实施分布式DRL训练方案，使每个IIoT设备在本地训练其自身的DRL智能体，从而实现可扩展性并减少中心化协调。

实验结果

研究问题

• RQ1 如何利用深度强化学习在保护隐私的前提下，提升联邦模型聚合中IIoT设备的选择效率？
• RQ2 在异构的IIoT数据环境中，DRL辅助的FL框架在保持高模型准确率的同时，能在多大程度上降低通信开销？
• RQ3 所提出的框架在IIoT设备上数据分布为非独立同分布（non-IID）和独立同分布（IID）时表现如何？
• RQ4 本地训练轮数（E）和批量大小（B）的变化对收敛速度和最终模型准确率有何影响？
• RQ5 与基线联邦学习方法相比，基于DRL的客户端选择策略是否能有效减少模型偏差并提升全局模型性能？

主要发现

• 所提出的DRL辅助FL框架在IID条件下于MNIST和Fashion-MNIST数据集上均实现了超过98%的训练准确率。
• 在CIFAR-10数据集上，该框架达到了85%的测试准确率，表明其在更复杂的图像数据上也表现出色。
• 对于MNIST，当目标准确率为98%时，所提方法在E=1且B=50的条件下仅需65轮通信，显著少于FedSGD的625轮。
• 在非IID设置下，当E=1且B=50时，所提方法将通信轮数减少至598轮（相比FedSGD的484轮），显示出在数据异构性下的鲁棒性。
• 当E=20且B=10时，该方法仅用17轮通信即达到MNIST上98%的准确率，表明增加本地训练轮数并减少批量大小有助于提升收敛速度。
• 在某些配置下，基于DRL的客户端选择策略相比FedSGD将所需通信轮数减少了高达73%，证实了其在效率上的显著优势。