Skip to main content
QUICK REVIEW

[论文解读] Decoupled Split Learning via Auxiliary Loss

Anower Hossen Zihad, Felix Owino|arXiv (Cornell University)|Jan 27, 2026
Domain Adaptation and Few-Shot LearningComputer Science被引用 0
一句话总结

该论文提出一种解耦分割学习方法,在切点使用轻量级辅助分类器实现客户端端本地辅助损失的训练,取消跨切分反向传播,降低通信和内存开销,同时保持准确性。

ABSTRACT

Split learning is a distributed training paradigm where a neural network is partitioned between clients and a server, which allows data to remain at the client while only intermediate activations are shared. Traditional split learning relies on end-to-end backpropagation across the client-server split point. This incurs a large communication overhead (i.e., forward activations and backward gradients need to be exchanged every iteration) and significant memory use (for storing activations and gradients). In this paper, we develop a beyond-backpropagation training method for split learning. In this approach, the client and server train their model partitions semi-independently, using local loss signals instead of propagated gradients. In particular, the client's network is augmented with a small auxiliary classifier at the split point to provide a local error signal, while the server trains on the client's transmitted activations using the true loss function. This decoupling removes the need to send backward gradients, which cuts communication costs roughly in half and also reduces memory overhead (as each side only stores local activations for its own backward pass). We evaluate our approach on CIFAR-10 and CIFAR-100. Our experiments show two key results. First, the proposed approach achieves performance on par with standard split learning that uses backpropagation. Second, it significantly reduces communication (of transmitting activations/gradient) by 50% and peak memory usage by up to 58%.

研究动机与目标

  • 在保持任务性能的同时,提出降低分割学习中的通信和内存开销的动机。
  • 在切点设计一种训练方案,使客户端和服务器在切点处独立优化本地目标。
  • 在切层设计一个辅助分类器,为客户端提供本地误差信号。
  • 评估解耦分割学习(DSL)是否能达到与基于反向传播的分割学习(CSL)相当的准确性。
  • 量化在不同数据集和切割策略下的通信和内存节省。

提出的方法

  • 在切层附加一个轻量级辅助分类器 C_a,生成客户端的本地辅助损失 L_aux。
  • 使用 L_aux 训练客户端 M_b 和 C_a,不接收服务器梯度(lambda 设为 0)。
  • 让服务器在全局损失 L 上训练 M_t,使用来自客户端的激活 z,且不向客户端传回梯度。
  • 仅在客户端向服务器传输前向激活 z,减少反向通信。
  • 服务器更新基于全局损失;客户端更新依赖本地辅助损失。
  • 采用两方(客户端-服务器)分割,切点层 L_c 不同,形成浅层、中层和深层分割配置。

实验结果

研究问题

  • RQ1解耦分割学习方法是否能维持与基于反向传播的分割学习相当的性能?
  • RQ2与传统分割学习相比,解耦方法在通信和内存方面能节省多少开销?
  • RQ3切点层的深度或浅度是否影响准确性与效率之间的权衡?

主要发现

  • DSL 在 CIFAR-10 和 CIFAR-100 上的模型性能,与 CSL 在不同 N 和 L_c 设置下相当。
  • 通过消除反向传输,DSL 将通信量减少最多约50%。
  • 当 L_c 较浅(切割较早)时,DSL 的峰值客户端内存使用量可降低最多58%。
  • 由于辅助网络的额外计算,DSL 的每轮训练时间略高,主要来自客户端端的计算。
  • 通信细分显示在 DSL 中仅有前向传输,而在 CSL 中既有前向又有反向,结果大约将总通信量减半。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。