[论文解读] Have Your Cake and Eat It Too: Toward Efficient and Accurate Split Federated Learning

Dengke Yan, Hu Ming+5 more|arXiv (Cornell University)|Nov 22, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出S²FL，一种新型的分割联邦学习框架，通过引入自适应滑动模型分割策略和基于数据平衡的训练机制，显著提升了AIoT系统中的效率与准确性。通过根据设备能力动态分配模型部分，并基于标签重新组合特征以确保近似独立同分布（near-IID）的数据分布，S²FL有效降低了延迟设备（straggler）效应并缓解了客户端漂移问题，在推理准确率上最高提升16.5%，训练速度提升3.54倍，优于传统SFL。

ABSTRACT

Due to its advantages in resource constraint scenarios, Split Federated Learning (SFL) is promising in AIoT systems. However, due to data heterogeneity and stragglers, SFL suffers from the challenges of low inference accuracy and low efficiency. To address these issues, this paper presents a novel SFL approach, named Sliding Split Federated Learning (S$^2$FL), which adopts an adaptive sliding model split strategy and a data balance-based training mechanism. By dynamically dispatching different model portions to AIoT devices according to their computing capability, S$^2$FL can alleviate the low training efficiency caused by stragglers. By combining features uploaded by devices with different data distributions to generate multiple larger batches with a uniform distribution for back-propagation, S$^2$FL can alleviate the performance degradation caused by data heterogeneity. Experimental results demonstrate that, compared to conventional SFL, S$^2$FL can achieve up to 16.5\% inference accuracy improvement and 3.54X training acceleration.

研究动机与目标

• 为解决由数据异质性和非独立同分布（non-IID）数据分布引起的分割联邦学习（SFL）中推理准确率低下的问题。
• 通过缓解因设备计算能力与通信速率差异导致的延迟设备问题，提升SFL中的训练效率。
• 设计一种框架，实现在资源受限的AIoT设备上高效、准确且可扩展的模型训练，同时不损害隐私。
• 将自适应模型划分与数据感知的特征分组机制集成到SFL中，以提升收敛速度与模型泛化能力。

提出的方法

• S²FL将全局模型划分为三部分：服务器端、共享部分和客户端模型，以实现灵活且自适应的部署。
• 自适应滑动模型分割策略根据设备的计算能力（FLOPs）和通信带宽分配模型部分，以平衡各设备的训练时间。
• 基于数据平衡的训练机制通过标签对设备的中间特征进行重组，形成分布更均匀的批次，用于训练服务器端模型部分。
• 在这些分组后的、标签平衡的特征上，对多个副本的服务器端模型进行训练，以减少非I-ID数据带来的性能下降。
• 将来自服务器端模型的梯度发送回客户端设备以进行本地更新，客户端模型部分通过联邦服务器聚合，形成新的全局客户端模型。
• 该框架利用主服务器上的标签信息，实现标签感知的特征分组，从而在不暴露原始数据的前提下提升泛化能力。

实验结果

研究问题

• RQ1 如何动态地根据设备特定能力调整模型划分，以减少SFL中的延迟设备效应？
• RQ2 AIoT设备中的数据异质性在多大程度上会降低SFL性能？通过特征重组能否有效缓解？
• RQ3 结合自适应模型分割与数据平衡特征分组的混合训练策略，能否同时提升SFL的准确率与效率？
• RQ4 在不同设备构成（包括不同FLOPs与通信速率）下，S²FL的性能表现如何？
• RQ5 自适应滑动模型分割与基于数据平衡的训练机制对整体性能提升的相对贡献分别是什么？

主要发现

• 在非I-ID数据设置下，S²FL相比传统SFL，推理准确率最高提升16.5%。
• 当数据偏斜参数a=0.5时，S²FL相比SFL将训练时间减少3.54倍，通信开销降低2.57倍。
• 消融实验表明，自适应滑动模型分割与基于数据平衡的训练机制均能独立提升性能，完整配置S²FL+MB实现最高准确率与最快收敛速度。
• 随着参与设备数量从5增加到20，S²FL始终优于基线模型，表现出良好的鲁棒性与可扩展性。
• 在异构设备组合中，尤其是低FLOP与低带宽设备比例较高时，S²FL仍保持比SFL更快的收敛速度与更高的准确率。
• 基于数据平衡的机制通过减轻非I-ID数据的影响，提升了测试准确率；而自适应分割策略则通过最小化延迟设备延迟，加速了训练过程。