[论文解读] End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things

Yansong Gao, Minki Kim+7 more|arXiv (Cornell University)|Mar 30, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用 39

一句话总结

本文在真实物联网硬件上对联邦学习（FL）和分割神经网络（SplitNN）进行实证比较，评估在 IID、不平衡以及非 IID 数据下的学习表现，以及在 Raspberry Pi 设备上的实现开销。

ABSTRACT

This work is the first attempt to evaluate and compare felderated learning (FL) and split neural networks (SplitNN) in real-world IoT settings in terms of learning performance and device implementation overhead. We consider a variety of datasets, different model architectures, multiple clients, and various performance metrics. For learning performance, which is specified by the model accuracy and convergence speed metrics, we empirically evaluate both FL and SplitNN under different types of data distributions such as imbalanced and non-independent and identically distributed (non-IID) data. We show that the learning performance of SplitNN is better than FL under an imbalanced data distribution, but worse than FL under an extreme non-IID data distribution. For implementation overhead, we end-to-end mount both FL and SplitNN on Raspberry Pis, and comprehensively evaluate overheads including training time, communication overhead under the real LAN setting, power consumption and memory usage. Our key observations are that under IoT scenario where the communication traffic is the main concern, the FL appears to perform better over SplitNN because FL has the significantly lower communication overhead compared with SplitNN, which empirically corroborate previous statistical analysis. In addition, we reveal several unrecognized limitations about SplitNN, forming the basis for future research.

研究动机与目标

• 在 IID、不平衡和非 IID 数据设置下，衡量 FL 与 SplitNN 的学习性能（准确率与收敛性）。
• 评估面向资源受限的物联网硬件的端到端实现开销（训练时间、功耗、内存、通信）。
• 探索在 Raspberry Pi 上部署 FL 与 SplitNN 的可行性，并给出实际部署建议。

提出的方法

• 在 IID、不平衡和非 IID 条件下，比较 FL 与 SplitNN 在多数据集和客户端数量（2 到 100）上的表现。
• 使用适合物联网设备的小参数量的一维卷积神经网络（1D CNN）模型；评估收敛速度和准确性。
• 将 FL 与 SplitNN 都部署在 Raspberry Pi 设备上，以衡量训练时间、内存、功耗、温度和通信开销。
• 研究 SplitNN 支持的集成学习，以在服务器资源上并行生成多个模型。
• 将 SplitNN 扩展为集成学习，并将端到端时序和资源使用与单独训练模型进行比较。

实验结果

研究问题

• RQ1 RQ1：哪些因素（客户端数量、数据不平衡、数据非 IID）会影响 SplitNN 的学习性能？
• RQ2 RQ2：在何种设置下，SplitNN 在学习性能和收敛性方面优于 Federated Learning？
• RQ3 RQ3：在资源受限的物联网硬件上，FL 与 SplitNN 的端到端实现开销是多少？
• RQ4 RQ4：SplitNN 能否与集成学习结合以降低训练时间和资源使用？

主要发现

• 在不平衡数据分布下，SplitNN 的收敛速度快于 FL，而在极端非 IID 分布下无法学习。
• 当客户端数量众多或数据高度非 IID 时，FL 很难达到集中基线，尽管局部 epochs 调整可帮助收敛。
• 在 Raspberry Pi 硬件上，FL 通常具有较低的通信开销和较高的客户端并行性，使其在以通信为主要瓶颈时更合适。
• SplitNN 产生更高的通信开销，且对于 IoT 设备上的较重模型可能不可行；因此建议在此类硬件上使用更小的 1D CNN。
• SplitNN 的集成学习可以在一定程度上缩短总训练时间并降低部分资源使用，相比逐个训练模型，但不能降低通信开销。