[论文解读] Efficient Ring-topology Decentralized Federated Learning with Deep Generative Models for Industrial Artificial Intelligent

Wang Zhao, Yifan Hu+2 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 36被引用 5

一句话总结

该论文提出了一种用于工业物联网（IIoT）中深度生成模型（DGMs）的环形拓扑去中心化联邦学习（RDFL）框架，以提升通信效率和隐私保护。通过利用一致性哈希构建环形拓扑，采用映射-归约同步方法，并结合IPFS实现数据共享，RDFL减轻了通信压力，并在非独立同分布（non-IID）和恶意节点条件下提升了鲁棒性，在IID和non-IID设置下均优于FedAvg，在数据中毒攻击下于CIFAR-100上实现了高达85.14%的准确率。

ABSTRACT

By leveraging deep learning based technologies, the data-driven based approaches have reached great success with the rapid increase of data generated of Industrial Indernet of Things(IIot). However, security and privacy concerns are obstacles for data providers in many sensitive data-driven industrial scenarios, such as healthcare and auto-driving. Many Federated Learning(FL) approaches have been proposed with DNNs for IIoT applications, these works still suffer from low usability of data due to data incompleteness, low quality, insufficient quantity, sensitivity, etc. Therefore, we propose a ring-topogy based decentralized federated learning(RDFL) scheme for Deep Generative Models(DGMs), where DGMs is a promising solution for solving the aforementioned data usability issues. Compare with existing IIoT FL works, our RDFL schemes provides communication efficiency and maintain training performance to boost DGMs in target IIoT tasks. A novel ring FL topology as well as a map-reduce based synchronizing method are designed in the proposed RDFL to improve decentralized FL performance and bandwidth utilization. In addition, InterPlanetary File System(IPFS) is introduced to further improve communication efficiency and FL security. Extensive experiments have been taken to demonstate the superiority of RDFL with either independent and identically distributed(IID) datasets or non-independent and identically distributed(Non-IID) datasets.

研究动机与目标

• 解决集中式联邦学习（FL）在工业物联网（IIoT）应用中的通信瓶颈与安全风险。
• 通过深度生成模型（DGMs）克服IIoT中的数据可用性问题，如数据不完整、质量低劣和敏感性问题。
• 设计一种去中心化FL框架，降低对中心服务器的依赖，提升系统稳定性和带宽利用率。
• 增强去中心化FL环境中抵御恶意节点数据投毒攻击的鲁棒性。
• 通过IPFS和一种新型环形同步机制，提升通信效率与安全性。

提出的方法

• 利用一致性哈希构建环形拓扑，实现模型聚合的去中心化，降低通信压力。
• 设计基于映射-归约的同步方法，提升去中心化FL中的带宽利用率与训练稳定性。
• 集成星际文件系统（IPFS）实现安全、高效的跨节点数据共享，降低通信成本。
• 实现一种受环形AllReduce启发的同步协议，支持节点间高效参数聚合。
• 部署DGMs（如GANs），结合本地生成器与判别器，提升数据质量并处理non-IID数据。
• 采用混合训练策略，配置可调的同步间隔$K$，以评估通信效率的权衡。

实验结果

研究问题

• RQ1 环形拓扑的去中心化FL框架是否能提升IIoT应用中的通信效率并减轻带宽压力？
• RQ2 在工业环境中常见的non-i.i.d.数据分布下，所提出的RDFL框架表现如何？
• RQ3 当面临恶意节点或数据投毒攻击时，RDFL在多大程度上保持模型性能与鲁棒性？
• RQ4 基于IPFS的数据共享是否能进一步降低通信成本并增强去中心化FL中的安全性？
• RQ5 在不同通信间隔下，RDFL中的同步机制与传统FedAvg相比，在收敛性和准确率方面表现如何？

主要发现

• 在IID设置下，当可信节点与恶意节点比例为5:0时，RDFL在CIFAR-100上实现了85.14%的分类准确率，优于FedAvg的82.76%。
• 在non-IID数据（LDA划分）下，当可信节点与恶意节点比例为4:1时，RDFL在CIFAR-10上保持63.25%的准确率，优于FedAvg的61.72%。
• 即使在较高的同步间隔下（如$K=20000$），使用RDFL训练的GAN仍能生成高质量图像，表明其对通信减少具有鲁棒性。
• 地球移动距离（EMD）结果表明，生成图像更接近真实数据，证实了生成质量的提升。
• Inception Score（IS）与EMD评估结果表明，RDFL在IID与non-IID数据场景下均保持了强劲的生成性能。
• 与集中式或简单去中心化FL相比，环形拓扑与同步机制显著提升了训练稳定性并降低了通信压力。