[论文解读] A Federated Learning Framework for Healthcare IoT devices
本文提出一种将神经网络在边缘设备与中央服务器之间分解的联邦学习框架，用于医疗物联网，并对激活/梯度进行稀疏化以大幅降低通信量，同时准确率几乎不受影响。
The Internet of Things (IoT) revolution has shown potential to give rise to many medical applications with access to large volumes of healthcare data collected by IoT devices. However, the increasing demand for healthcare data privacy and security makes each IoT device an isolated island of data. Further, the limited computation and communication capacity of wearable healthcare devices restrict the application of vanilla federated learning. To this end, we propose an advanced federated learning framework to train deep neural networks, where the network is partitioned and allocated to IoT devices and a centralized server. Then most of the training computation is handled by the powerful server. The sparsification of activations and gradients significantly reduces the communication overhead. Empirical study have suggested that the proposed framework guarantees a low accuracy loss, while only requiring 0.2% of the synchronization traffic in vanilla federated learning.
研究动机与目标
- 在实现协同模型训练的同时，解决医疗物联网中的隐私和数据所有权问题。
- 减轻低资源物联网设备的计算和通信负担。
- 在分布式训练环境中保持高模型准确性。
- 利用分割神经网络方法将大部分计算转移到云端。
提出的方法
- 将深度神经网络分解为浅边缘子网络和深云端子网络。
- 采用模型并行启发式分区（类似 SplitNN），将前几层放在物联网设备上，其余层放在集中服务器上。
- 通过仅传输前K个激活值和梯度（K ≤ 10%）来稀疏化通信。
- 在不同设备数量下，比较每次迭代的网络流量与 FedAvg 和 SplitNN 的对比。
- 在使用 PhysioNet 2017 数据的真实心律失常检测任务上评估收敛性和精度损失。
实验结果
研究问题
- RQ1与集中式 SGD 和其他联邦学习方法相比，分解后的联邦学习框架在收敛性和精度损失方面的表现如何？
- RQ2激活与梯度稀疏化在医疗物联网联邦学习设置中的通信开销上 reduction 在多大程度上？
- RQ3在所提框架中，物联网设备计算负担与全局模型性能之间的权衡是什么？
- RQ4在显著降低边缘设备同步流量的同时，框架能否维持准确性？
主要发现
- 与集中式 SGD 相比，16、32、64 设备的收敛延迟差异不显著，最终准确率损失低于 2%。
- 在 16、32、64 设备下，提出的框架在每次迭代中的网络流量分别比 FedAvg 下降 99.8% 与比 SplitNN 下降 90%。
- 对前K个激活值和梯度进行稀疏化（K ≤ 10%）在大幅降低通信的同时并未带来较大精度惩罚。
- 大部分计算由集中服务器处理，缓解了边缘设备资源约束。
- 经验评估在 PhysioNet 2017 数据集上使用最先进的心律失常检测架构，证明了在医疗物联网环境中的可行性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。