[论文解读] FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks

Ali Abedi, Shehroz S. Khan|arXiv (Cornell University)|Nov 6, 2020

Privacy-Preserving Technologies in Data被引用 14

一句话总结

该论文提出FedSL，一种新颖的联邦分割学习框架，用于在按顺序划分的数据上训练循环神经网络（RNNs）——即单个序列的多个部分被分配到不同客户端——而无需共享原始数据或完整模型参数。通过将RNNs拆分为在本地顺序片段上训练的子网络，并通过客户端间通信保留潜在依赖关系，FedSL在更少的通信轮次内实现了比FedAvg和集中式学习更高的准确率，同时保护了隐私。

ABSTRACT

Federated Learning (FL) and Split Learning (SL) are privacy-preserving Machine-Learning (ML) techniques that enable training ML models over data distributed among clients without requiring direct access to their raw data. Existing FL and SL approaches work on horizontally or vertically partitioned data and cannot handle sequentially partitioned data where segments of multiple-segment sequential data are distributed across clients. In this paper, we propose a novel federated split learning framework, FedSL, to train models on distributed sequential data. The most common ML models to train on sequential data are Recurrent Neural Networks (RNNs). Since the proposed framework is privacy-preserving, segments of multiple-segment sequential data cannot be shared between clients or between clients and server. To circumvent this limitation, we propose a novel SL approach tailored for RNNs. A RNN is split into sub-networks, and each sub-network is trained on one client containing single segments of multiple-segment training sequences. During local training, the sub-networks on different clients communicate with each other to capture latent dependencies between consecutive segments of multiple-segment sequential data on different clients, but without sharing raw data or complete model parameters. After training local sub-networks with local sequential data segments, all clients send their sub-networks to a federated server where sub-networks are aggregated to generate a global model. The experimental results on simulated and real-world datasets demonstrate that the proposed method successfully trains models on distributed sequential data, while preserving privacy, and outperforms previous FL and centralized learning approaches in terms of achieving higher accuracy in fewer communication rounds.

研究动机与目标

• 填补联邦学习与分割学习在顺序划分数据上的空白，即单个序列的连续片段被存储在不同客户端上。
• 实现在此类数据上无需在客户端或服务器之间共享原始数据、标签或完整模型参数的RNN隐私保护训练。
• 开发一种专为RNN设计的新型分割学习方法，以保持分布在不同序列片段之间的潜在依赖关系。
• 将客户端间的分割学习与客户端与服务器之间的联邦平均相结合，形成统一的协作训练框架。
• 证明所提出方法在通信轮次更少的情况下，相比现有联邦学习和集中式学习方法，能实现更高的模型准确率。

提出的方法

• 将RNN拆分为两个子网络：一个在客户端上对序列的第一个片段进行训练，另一个在另一客户端上对第二个片段进行训练。
• 在分割学习过程中启用客户端间通信，其中第一个子网络的最终隐藏状态用于初始化第二个子网络的隐藏状态，以保留序列依赖关系。
• 采用联邦平均策略，所有客户端将本地训练的子网络发送到中央服务器进行聚合，形成全局模型。
• 使用本地顺序数据片段在本地训练子网络，客户端或服务器之间不共享数据或完整模型参数。
• 将FedSL框架应用于模拟和真实世界的序列数据集，包括用于患者死亡率预测的eICU数据集。
• 将FedSL与LoAdaBoost FedAvg结合，进一步提升性能，证明其与现有联邦学习优化技术的兼容性。

实验结果

研究问题

• RQ1 能否设计一种联邦学习框架，用于在连续序列片段被分配到不同客户端的顺序划分数据上训练RNN？
• RQ2 如何将分割学习适配于RNN，以在不共享原始数据或模型参数的情况下，保留分布在不同序列片段之间的潜在依赖关系？
• RQ3 所提出的FedSL框架是否在减少通信轮次的同时，实现了比FedAvg和集中式学习更高的模型准确率？
• RQ4 FedSL在不同数据划分方案（IID与非IID）、批量大小和本地训练轮次下的性能表现如何？
• RQ5 通过与现有联邦学习优化技术（如LoAdaBoost FedAvg）结合，能否进一步提升FedSL的性能？

主要发现

• 所提出的FedSL框架成功在分布式序列数据上训练了RNN，同时保护了隐私，无需共享原始数据、标签或完整模型参数。
• 在eICU数据集上，FedSL的AUC-ROC高于FedAvg和LoAdaBoost FedAvg，且FedSL与LoAdaBoost结合的配置在所有测试设置中均优于LoAdaBoost FedAvg。
• RNN的分割学习方法实现了接近集中式学习的AUC-ROC值，即使在批量大小为8和64时也仅存在微小差距，表明其具有出色的收敛性和性能。
• FedSL在实现相当或更优准确率时所需的通信轮次少于FedAvg，表明其通信效率更高。
• 在客户端上采用非IID和IID数据分布时，该框架在准确率方面优于FedAvg和集中式学习。
• 将FedSL与LoAdaBoost FedAvg结合进一步提升了性能，表明该框架与先进联邦学习优化策略具有良好的兼容性。